mô đun máy ảnh kỹ thuật số có một cấu trúc vật lý đơn giản:
một thấu kính đặt bên trên của một con chip cảm biến hình ảnh
nhà sản xuất mô đun và nhà tích hợp [lắp ráp] thường bổ sung những thứ như cảm biến và bộ chấp hành để hỗ trợ hiệu năng máy ảnh nhưng chỉ là phụ
cấu trúc máy ảnh kỹ thuật số này có trong tất cá các thiết bị kỹ thuật số
thiết lập của điện thoại thông minh cho phép những lợi thế và bất lợi nhất định so với thiết bị ảnh kỹ thuật số lớn như DSLR
bất lợi lớn nhất là máy ảnh bên trong phải nhỏ và mỏng hơn
mô đun máy ảnh điện thoại thường đặt bên trong không gian dày 7 đến 10 milimet vì điện thoại cần di động và vừa gọn trong túi
cảm biến điện thoại thông minh ngày nay thường lớn chỉ 4 x 5 milimet
cảm biến hình ảnh của DSLR cỡ lớn nhất có thể đến 36 x 24 milimet
cảm biến càng to càng hứng được nhiều ánh sáng lên một điểm pixel
cảm biến nhỏ dễ bị mờ chuyển động, nhiễu ảnh và giảm dải tần nhạy sáng
kích cỡ điện thoại cũng hạn chế ống kính, không điều chỉnh được như máy ảnh DSLR
đầu tiên là khẩu độ cố định và hạn chế
khẩu độ là phần ngoài cùng của một diaphragm nơi ánh sáng xuyên qua trên đường đến cảm biến
khẩu độ nhỏ thì ít ánh sáng lọt vào cảm biến hơn
thứ hai là chức năng phóng to
tuy nhiên điện thoại cho phép sức mạnh máy tính hơn máy ảnh riêng
ngày nay chip điện thoại đã mạnh bằng một số máy tính xách tay và là một trong những cách để bù đắp thiếu hụt kích cỡ của cảm biến nhỏ
Cảm biến ảnh
thập niên 1920 đã có lý thuyết về bộ phát hiện hạt photon bằng silic
năm 1969 Willard Boyle và George Smith ở phòng thí nghiệm Bell lần đầu đề xuất ý tưởng những linh kiện tích điện kép [cảm biến CCD]
năm 2009 Boyle và Smith giành giải Nobel vật lý
năm 2020 ngành làm chip [cảm biến] hình ảnh trong điện thoại ước tính 20 tỷ đôla
3 công ty lớn là Samsung, Sony và Omnivision của Trung Quốc
hạn chế kích cỡ vật lý của máy ảnh điện thoại đã có phần mềm trợ giúp
nhiếp ảnh máy tính là ngành tăng trưởng nhanh và là một trong những tiến bộ lớn nhất gần đây
Chụp ảnh qua đường ống [chương trình xử lý]
mỗi nhà sản xuất máy lại có một đường ống [pipeline] khác nhau, dù có chung phần cứng thì công ty điện thoại vẫn chỉnh sửa các tham số và thuật toán để thử nghiệm hoặc tạo khác biệt với thương hiệu khác
Khung hình Bayer
cảm biến ảnh được cấu tạo bởi một lưới 2 chiều các điôp quang học
một điôp quang học biến đổi các photon thành hạt điện tích
những hạt điện tích này không tự quy định màu cho nên mỗi điốp quang có một bộ lọc màu nằm bên trên
điện thoại thường có phần cứng xử lý hình ảnh riêng, nhận những điện tích tạo bởi những điốp quang của cảm biến và vẽ lên những màu đúng
sắp xếp những bộ lọc này là tuỳ nhà sản xuất cảm biến, được gọi là một bộ lọc Bayer đặt theo tên Bryce Bayer của công ty Kodak là người đề xuất năm 1975
những điểm ảnh pixel cỡ lớn này cho phép khuếch đại độ nhạy bén và độ linh hoạt ánh sáng
kết quả thô thu được ở giai đoạn này được gọi là "hình ảnh định dạng Bayer" hay "khung ảnh Bayer" nhìn có vẻ méo hay như bị khảm mảnh - những khoảng trống giữa các màu khác nhau
lý do vì mỗi điốp quang chỉ tương ứng một màu
nên tiến trình xử lý hình ảnh sử dụng thuật toán để giúp khoả lấp những khoảng trống của hình ảnh Bayer thô
những thuật toán ghép mảnh sử dụng nhiều phương pháp toán học để tái dựng màu sắc thực của cảnh
thuận toán đơn giản nhất là lấp những giá trị RGB còn thiếu dựa theo những điểm cảnh kế cạnh, hiệu quả nhưng bị vấn đề mờ góc, nên những thuật toán khác phức tạp hơn đã được phát triển
thoạt nhìn thì phương pháp có vẻ lạ: hàm ý rằng 2 phần 3 hình ảnh từ máy ảnh điện thoại về căn bản là máy tính tạo ra
tuy nhiên phương pháp đang bắt chước cái xảy ra với hệ thống thị giác con người.
làm tương tự, não bộ so sánh tín hiệu từ những tế bào võng mạc dạng nón để tạo cái chúng ta gọi là "thị lực màu sắc"
Bayer chọn mẫu thiết kế mới đầu có 2 lần số điốp quang màu xanh lá hơn so với màu đỏ và xanh dương vì ấy là cách mắt người hoạt động
Tiền xử lý và hoàn thiện
trước tiên, hình ảnh được xử lý để cân bằng trắng
não bộ có thể thích nghi thị lực màu sắc với những lượng chiếu sáng khác nhau
máy ảnh cần điều tiết và "sửa" những màu sắc trong ảnh để nhìn như thể nó được chiếu sáng bởi một ánh sáng trắng trung lập
nếu không có cân bằng trắng, hình ảnh hoàn thiện nhìn sẽ không tự nhiên
ví dụ: màu da nhìn quá nóng/da cam hoặc đèn flash máy ánh sẽ nhìn quá lạnh/xanh dương
việc này cần một thuật toán để ước tính độ chiếu sáng của cảnh và quy định cách bộ lọc màu của cảm biến ảnh sẽ phản ứng với nó [từng mức chiếu sáng]
kết quả là cái gọi là giá trị chiếu sáng và được áp dụng cho các giá trị RGB của các điểm ảnh
sau đó, bộ xử lý hình ảnh mới có thể thao túng màu sắc của ảnh theo cách tương ứng
việc này có thể dựa trên hồi đáp của người dùng
ví dụ: người dùng có thể lựa chọn một thiết lập ảnh 'sinh động' hơn
hoặc có thể được người bán lập trình sẵn trong máy ảnh điện thoại để tạo điểm nhấn cho sản phẩm khác biệt với đối thủ
ví dụ: điện thoại Samsung chụp ảnh khác iPhone
cảm biến ảnh cũng có thể áp dụng một thuật toán khác để cắt giảm nhiễu trong ảnh
nhiễu trong một ảnh là nhắc đến những vật thể lạ không xuất hiện trong cảnh ban đầu
quá nhiều vật thể lạ sẽ gây méo
nhưng nếu máy ảnh quá quyết liệt trong việc giảm nhiễu thì ảnh có thể nhìn quá mượt và giả tạo như ảnh chỉnh sửa qua ứng dụng Meitu
cả một luận văn tiến sĩ đã được viết về những thuật toán giảm nhiễu
sau đó, bộ xử lý ảnh chỉnh lại kích thước dữ liệu, điều chỉnh các giá trị RGB để khiến nó dễ hiển thị trên màn điện thoại hơn và lưu thành định dạng tệp JPEG, PNG hoặc HEIC
Phóng to
phóng to là một việc đặc biệt khó làm với một điện thoại.
máy ảnh truyền thống thì phóng to hình ảnh nhìn vào vật là di chuyển vật lý những thấu kính dọc theo trục quang học
máy ảnh điện thoại nhỏ và mỏng thì không dễ
Samsung, Nokia và Asus đều thử nhưng sản phẩm bị lồi máy ảnh đáng kể mà hiệu năng phóng to vẫn gây thất vọng
và vì thế phần lớn các máy ảnh chỉ cung cấp phóng to kỹ thuật số
nghĩa là đóng khung ảnh ban đầu và mở to phần còn lại
phóng to kỹ thuật số thường khá mờ vì nó làm yếu đi cấu hình ảnh vốn đã ảo diệu
để cải thiện chất lượng của những hình ảnh phóng to kỹ thuật số, công ty làm máy ảnh đã dùng thuật toán hình ảnh để củng cố chi tiết bị thiếu.
một thuật toán đơn gian sẽ khoả lấp những chi tiết bằng cách sử dụng dữ liệu điểm ảnh xung quanh. Nhưng đấy là chuyện tương lai
hiện nay phương án mà phần lớn các nhà sản xuất thường áp dụng là nhiều máy ảnh sau: một có tầm nhìn rộng gọi là máy ảnh rộng và một có tầm nhìn hẹp gọi là ống kính tele
những máy ảnh ống phóng khẩu độ đôi này được ra mắt năm 2014 bởi Corephotonics là một công ty Israel và đã được áp dụng bởi những công ty làm điện thoại như Apple, Xiaomi, Oppo...
cách khác được áp dụng là cấu trúc "folded optic" [quang đóng gói] công ty Corephotonics đăng ký bằng sở hữu trí tuệ, sử dụng một trục quang học truyền thống và một tấm gương đặt chéo 45 độ để bẻ đường sáng sang ngang để có thể phóng to mà không khiến máy ảnh bị dày lên
Chụp đêm
iPhone 13 có khả năng chụp ảnh thiếu sáng và chụp ban đêm là nhờ công nghệ nhiếp ảnh điện toán
trong khi mắt người không nhìn được ban đêm, không phân biệt được màu sắc
cho nên máy ảnh không cần phải trung thực với cảnh thật, thay vào đó máy ảnh tạo ra những bức ảnh thiếu sáng ít nhiễu rực rỡ nhất
nhiếp ảnh thiếu sáng chắt lượng cao từng được coi là chỉ khả thi với máy ảnh DSLR với những điểm ảnh lớn và khẩu độ tuỳ chỉnh với chân máy ảnh ba chân để bắt giữ được nhiều ánh sáng
những công ty sản xuất chọn áp dụng một chức năng nhiếp ảnh khác để khắc phục hạn chế này: "xử lý theo chùm" [burst processing] tức là bắt giữ và sáp nhập nhiều khung ảnh một
khó khăn là, ví dụ cố gắng sắp xếp chuỗi ảnh sao cho đáng tin cậy, nếu sai lệch sẽ bị vấn đề méo ảnh
năm 2018 điện thoại Pixel của Google ra mắt chức năng chụp thiếu sáng này đầu tiên, gọi tên là chức năng Night Sight
kết quả ấn tượng nên các nhà sản xuất điện thoại khác đã áp dụng làm công cụ chung để cải thiện nhiếp ảnh
Chinh phục giới hạn với học máy
tiến bộ mới đây trong công nghệ xử lý AI tích hợp là cho phép các nhà sản xuất máy ảnh đẩy hiệu năng ảnh lên
ví dụ:
sửa sai cân bằng trắng: các nhà nghiên cứu thu thập ảnh kỹ thuật số và các nhiếp ảnh gia chuyên nghiệp tiến hành cân bằng trắng thủ công
sau đó họ nhập dữ liệu ấy vào một mô hình học máy để tạo nên những thuật toán màu sắc trung thực hiện quả nhất
phương pháp máy học này đặc biệt hữu ích trong điều kiện thiếu sáng và được trang bị trong chức năng Night Sight nổi tiếng của điện thoại Pixel của Google
tiến xa hơn là huấn luyện một mô hình máy học bằng dữ liệu hình ảnh có cấu hình cao và thấp để mô hình biết cách làm sắc nét đúng mực và làm rõ các cạnh bị mờ trong một bức ảnh
Nvidia đã áp dụng công thức tương tự để nâng tầm kỹ thuật số những vật thể hình ảnh trong trò chơi điện tử lên những độ phân giải và tốc độ khung hình mà các nhà phát triển lúc đầu không hỗ trợ
Chụp ảnh hiệu ứng bokeh
điện thoại máy ảnh, toàn bộ hình ảnh hoặc là được lấy nét hoặc là không, không thể lấy nét chỉ một thứ như người để lại nền bị mờ
nhiếp ảnh điện toán đã cho phép điện thoại di động tạo ra một nền xoá phông [bokeh] nhân tạo
máy ảnh hiện đại có thể sử dụng máy ảnh thứ hai hoặc một cảm biến độ sâu chuyên biệt để biết khoảng cách đến chủ thể [chụp] và có thể áp dụng mờ sâu để mô phỏng độ sâu của hiệu ứng lấy nét
đấy là căn bản của chế độ ảnh chân dung của iPhone, hiện nay đã áp dụng để chụp cả động vật
điện thoại sử dụng AI để nhận biết một người hoặc một con chó và làm mờ phần còn lại
hiệu ứng bokeh cũng đã được áp dụng cho chế độ chụp ảnh thường của iPhone như khi chụp một cốc cafe trên bàn thì máy cũng xoá phông đằng sau luôn
Kết
đáng ngạc nhiên cho bao nhiêu xử lý điện toán và thao túng hình ảnh đặt vào quá trình tạo nên ảnh kỹ thuật số ngày nay
dù là những phép toán đơn giản hoặc những mô hình máy học phức tạp, dữ liệu ảnh được lưu trữ và tải lên là đã được phẫu thuật khỏi cái mà cảm biến thực sự "nhìn thấy"
trong bộ phim "Thế giới khủng long" nhân vật Henry Wu có nói: "Chẳng có gì trong công viên khủng long là tự nhiên cả, chúng tôi đã luôn khoả lấp những khoảng trống trong mã gen bằng DNA của các động vật khác. Và nếu mã gen mà là thuần chủng thì nhiều [khủng long] đã nhìn rất khác. Nhưng các bạn không yêu cầu chân thực, các bạn yêu cầu nhiều răng."
Không có nhận xét nào:
Đăng nhận xét