멀티 카메라, 이너 줌 등 첨단 광학 기술 스마트폰
멀티 카메라로 사진에 ‘특수 효과’를 넣을 수도 있다. 카메라 중 하나를 피사체·배경간 거리를 측정하는 심도(깊이) 카메라로 두면 된다. 심도 카메라로 아웃 오브 포커싱(배경흐림)을 더 선명하게 묘사하거나 증강현실 기능을 구현할 수 있다. 피사체 윤곽을 선명하게 담는 흑백 카메라와 일반 카메라를 함께 사용하면 사진의 윤곽과 색상 모두 선명하게 묘사할 수 있다.
멀티 카메라의 또다른 단점은 ‘부피’다. 카메라 개수가 늘 수록 유닛이 크고 두꺼워진다. 본체 뒷면 외관에 영향을 미치며 스마트폰을 내려놓을 때 긁힐 우려도 생긴다. 애플 아이폰11시리즈, 구글 픽셀4시리즈의 단점으로 ‘카툭튀(툭 튀어나온 카메라)’가 꼽히는 이유다.
위 단점을 보완할 기술이 ‘이너 줌’, ‘잠망경 카메라’다. 삼성전기는 ‘폴디드 줌’이라는 명칭으로 이 기술을 소개했다. 스마트폰 카메라로 초점을 조절할 때 내부 렌즈가 앞뒤로 움직인다. 렌즈가 움직이는 공간만큼 카메라 유닛이 두꺼워진다.
이너 줌의 단점은 ‘어두운 조리개’다. 광학계가 복잡해지는만큼 조리개 값이 어두워진다. 최신 스마트폰의 카메라 렌즈 조리개는 대부분 F2 이하다. 앞서 출시된 이너 줌 카메라 스마트폰 오포 레노10X 줌의 조리개는 F3으로 어둡다. 내구성도 떨어진다.
이너 줌 카메라 스마트폰을 떨어뜨릴 경우, 복잡한 내부 광학계가 파손되거나 고장날 우려가 있다. 빛을 받아들이는 효율, 광학식 흔들림 보정 기능의 성능도 이너 줌이 일반 줌보다 떨어진다.
인공지능, 스마트폰 카메라 발전 이끈다
스마트폰 제조사는 카메라에 ‘인공지능’을 적용해 촬영 편의 기능과 화질 모두 개량한다. 사진 색상과 밝기, 피사체와 배경을 인공지능 분석해 데이터로 만든다. 이 데이터로 스마트폰 카메라는 촬영 상황과 피사체를 자동 인식, 가장 알맞은 밝기와 색깔 설정을 지정한다.
인공지능은 ‘디지털 줌’ 성능도 높인다. 사진을 확대하는 방식의 디지털 줌을 사용하면 화소가 커져 거친 느낌을 준다. 인공지능이 화소의 밝기와 색깔을 계산해 화소 사이에 비슷한 화소를 넣어주면, 디지털 줌의 거친 느낌을 줄이고 해상력도 높일 수 있다. 구글 픽셀4에 이 기술이 ‘초고해상도 줌(Super Res Zoom)’이라는 명칭으로 적용됐다.
사진 밝기를 균일하게 맞춰주는 ‘HDR’도 인공지능과 만나 더욱 강력해진다. HDR은 어두운 사진과 일반 사진, 밝은 사진을 촬영해 합성하는 원리다. 이 때 인공지능이 사진을 얼마나 어둡거나 밝게 찍을 것인지, 그 과정에서 화질에 이상이 생기지 않는지 파악하고 대처한다. 합성 속도도 단축한다. HDR을 사용하면 카메라 셔터만 눌러도 밝고 선명한 사진을 만들 수 있다.
인공지능은 셔터 속도가 얼마나 길어졌는지 확인하고 이를 토대로 카메라나 피사체가 얼마나 흔들렸는지 계산한다. 사진도 여러 장 촬영한다. 계산 결과를 사진에 반영해 흔들린 부분을 수정한다. 수정하기 어려울 정도로 흔들린 피사체는 앞서 여러 장 촬영한 사진 가운데 가장 선명한 사진을 골라 피사체를 추출, 적용한다.
애플 아이폰11시리즈, 구글 픽셀4시리즈에 적용된 야간 촬영 기능이 이러한 원리도 동작한다. 위 예제 사진처럼 셔터 속도를 수초 이상 설정해야 하는 천체 촬영도 인공지능 및 야간 촬영 기능을 사용해 간단하게 수행할 수 있다.
지금까지의 야간 촬영 기능은 화소가 거칠게 표현되거나 피사체 움직임이 어색하게 수정되는 단점이 있었다. 인공지능의 장점은 사진 데이터가 많을 수록 똑똑해지는 점이다. 최신 스마트폰의 야간 촬영 기능은 화소를 거칠지 않고 선명하게 다듬는다. 피사체
1999년 일본 교세라에서 휴대폰 VP-210 기종에 처음으로 카메라 기능을 탑재한지 20여년이 지났다. 삼성전자도 2001년 최초로 실시간 영상 스트리밍 화상통화가 가능한 HSDPA 기종을 출시하였다. 2002년에 16%에 불과했던 휴대전화 중 카메라폰이 차지하는 비율은 연간 30%에 육박하는 성장률을 보이며, 이제는 거의 모든 휴대폰에 카메라는 기본으로 장착되어 있다. 최초에 11만 화소에 불과했던 휴대전화 카메라의 성능은 불과 4년만에 약 10배인 100만 화소, 즉 메가픽셀 수준의 카메라가 탄생하였다. 최초의 메가픽셀 휴대전화 카메라는 펜택앤큐리텔의 PG-S5000 기종에 적용되었다. 그로부터 3년 후에 삼성전자에서 1,000만 화소급 카메라인 SCH-B600 기종을 출시하였다.
휴대전화용 카메라에 사용되는 이미지 센서는 100% CMOS 센서로 제작된다. CMOS 센서의 성능은 화소수와 센서 크기로 결정된다. 화소수가 많으면 섬세하게 표현할 수 있고, 크기가 크면 저조도 특성이 우수하다. 화소의 정확한 뜻은 화상을 구성하는 최소 단위의 점을 의미한다. 컴퓨터 모니터 화면이나 스마트폰 화면 같은 디스플레이로 사진이나 그림을 보거나, 또는 카메라를 이용해서 사진을 찍을 때 화면을 구성하는 기본이 되는 단위이다. 영어로는 픽셀(pixel)이라고 한다. 화소수가 증가한다는 말은 화면에서 사진을 더 자세히 볼 수 있다는 의미이다. 빛을 받아들이는 센서의 면적은 동일한데, 화소수가 늘어나게 되면 각 화소 하나마다 받아들이는 빛의 양이 그만큼 줄어들게 되어 노이즈가 증가하게 되며, 다른 말로 다이내믹 레인지가 줄어들게 된다. 즉 저조도 특성이 나빠져서 야간에 선명한 사진을 찍을 수 없다는 단점이 생긴다. 따라서 좋은 이미지 센서는 화소수도 많고 센서의 크기도 큰 것이 제일 좋다. DSLR과 같이 카메라용 전용인 경우에는 센서의 크기를 크게 해도 별로 문제가 없지만, 스마트폰에서는 센서의 크기를 크게 할 수가 없다. 따라서 이러한 단점을 보완하기 위한 방안이 렌즈를 늘리는 방법이다. 다른 말로 여러 개의 카메라를 적용한다는 것이다.
최근에 출시되는 스마트폰의 후면 카메라는 대부분 3개가 기본으로 되어 있고, 향후 이것의 갯수는 늘어날 것으로 보인다. 전문가용 카메라의 경우에는 단일 렌즈를 사용하더라도 전동식 렌즈 방식을 사용하여 다양한 기능을 수행할 수 있지만, 휴대전화의 경우에는 두께가 얇아 렌즈를 움직이게 만들 공간이 부족하다. 그래서 휴대전화 제조사들은 렌즈의 갯수를 늘리는 방법으로 진행되고 있다. 최근 LG에서는 16개의 렌즈가 부착된 스마트폰 특허를 출원하였다.
현재까지는 렌즈가 3개에서 5개 정도까지가 제품으로 출시되었거나 출시될 예정으로 있다. 기본적으로 가장 많이 선택하는 렌즈는 80도 화각을 가지는 일반 렌즈, 최대 135도의 넓은 화각을 가지는 광각렌즈, 그리고 망원렌즈이다. 광각렌즈는 가까운 거리에서 더욱 넓은 화각의 이미지를 찍을 수 있으며, 말리 있는 피사체는 더 멀어 보이게 하고, 가까이에 있는 것은 더 크게 보이게 하는 원근감이 과장된 효과를 얻을 수 있다. 다음으로 많이 사용하는 렌즈는 피사체의 화면상 크기를 조절할 수 있는 줌렌즈가 있다. 줌렌즈는 직접 이동하지 않고도 피사체를 원하는 크기로 촬영할 수 있다. 즉 멀리 있는 피사체를 크게 촬영하거나 보다 넓은 화각으로 피사체나 배경을 촬영할 수 있다. 기존에 디지털 방식의 배율 조절 방식은 소프트웨어 방식으로 이루어지기 때문에 줌을 높이게 되면 화질이 저하된다. 그러나 광학식인 줌렌즈를 사용하게 되면 화질의 저하없이 줌이 이루어지는 장점이 있다.
이 외에도 #TOF 카메라도 있다. 이것은 예전에 아이폰 X 카메라에서 선 보였던 기술이며 3D sensing 기능을 보완한 기술이다. 애플에서 채용한 #SL(structured Light) 기술인 3D sensing 기능은 객체의 심도 정보(depth information)를 포착할 수 있는 기술이다. 아이폰 X의 전면 카메라에 장착되어 있었으며, 700만 화소 카메라, 적외선 카메라, 근접센서, 플러드 일루미네이션, 앰비언트 라이트 주변 광센서, 도트 프로젝터 등이 내장되어 있다. 카메라를 켜면 도트 프로젝터에서 약 30,000개에 달하는 적외선 도트를 발사하고, 그러면 적외선 카메라가 30,000개의 도트들을 입체적으로 스캔한다. 그 후 적외선 카메라로 인식한 사물의 깊이와 일반 카메라로 촬영한 화면을 합쳐(overlap) 입체적인 사물을 인지하고 사진을 찍을 수 있는 기술이다.
하지만 이 기술은 객체 표면에 적외선을 발사한 뒤, 객체 표면의 적외선을 다시 적외선 카메라로 인지해야 한다는 점 때문에 먼 거리에 있는 상의 심도(depth)를 파악하기에는 한계가 있었다. 이러한 한계를 보안하기 위해 나온 기술이 바로 TOF(time of flight) 기술이다. TOF 카메라는 카메라에서 IR LED에서 적외선이 발사되고, 이것이 피사체에 반사되어 되돌아오는 시간을 측정하여 그 심도를 계산한다. 그 후 SL 카메라와 마찬가지로 일반 카메라로 촬영한 화면과 이를 합쳐 입체적인 사물을 만들어낸다.
TOF는 time of flight의 약자로 비행 시간을 의미한다. 이 기술의 기본 개념은 레이더에 사용되었던 기술이다. TOF 카메라는 기본적으로 아래 그림과 같이 IR LED와 TOF센서로 구성되어 있다.
TOF 센서의 1픽셀은 아래 그림 오른쪽 사진과 같이 in phase receptor와 out phase receptor로 구성되어 있다.
이때 IR LED가 매우 빠른 속도로 꺼졌다 켜졌다는 일정한 시간 간격으로 반복을 한다. 그리고 아래 그림과 같이 IR LED가 켜져 있는 시간 동안은 in phase receptor가 수신을 하며, 꺼져 있는 동안은 out phase receptor가 동작을 한다.
따라서 아래 그림과 같이 촬영하는 사물과 TOF 카메라의 거리가 0일 경우에는 in phase receptor에만 반사된 빛이 수신되고, out phase receptor에는 빛이 전혀 수신되지 않는다.
그리고 사물과 TOF 카메라가 어느 정도 거리가 있는 상태라면 빛이 사물에 반사되어 돌아오는 시간 지연이 발생하고, in phase receptor가 동작하는 시간의 일정 부분은 빛을 수신하지 못하는 구간이 발생하며, 반대로 out phase receptor가 동작하는 시간의 일정부분에서는 떨어져 있는 거리로 갔다가 돌아오는 시간만큼 빛을 수신할 수 있게 된다. 아래 그림을 보면 거리에 따라 in phase receptor와 out phase receptor의 빛을 수신하는 시간이 달라지는 것을 알 수 있고, 이것으로부터 사물과의 거리를 측정할 수 있게 된다.
하지만 이 거리측정방법은 LED가 켜져 있는 시간이 사물에 부딪히고 돌아오는 시간보다는 짧아야만 동작이 가능하다는 것이다. 즉 최대 측정거리 d의 거리를 1이라고 할 때, 1을 넘으면 1.1이 되는 것이 아니라 0.1이 되는 현상이 발생한다. 이러한 문제점을 해결하기 위해 점멸시간을 가변적으로 하게 되면 측정 거리를 늘릴 수가 있다.
스마트폰 카메라 주요 기술은 단연 '멀티 카메라'이다. 스마트폰 신제품 모두 2개 이상 멀티 카메라를 탑재하고 있다. 멀티 카메라의 장점은 '줌'이다. 카메라 하나로는 줌을 구현할 수 없다. 사진을 억지로 확대하는 디지털 줌은 화질이 나빠진다. 카메라 개수를 늘리면 더 다양한 초점 거리를 표현, 줌 효과를 얻을 수가 있다. 멀티 카메라로 사진에 특수효과를 넣을 수도 있다. 카메라 중 하나를 피사체와 배경간 거리를 측정하는 ToF 카메라를 두면 가능하다. 심도 카메라로 아웃오브 포커싱(배경 흐림)을 더 선명하게 묘사하거나 증강현실 기능을 구현할 수 있다.
경쟁을 잘 보여주는 것은 스마트폰 후면의 카메라 렌즈 개수다. 화웨이는 2020년 4월 26일 프랑스 파리에서 공개하는 신제품 'P40' 시리즈에서 5개(펜타)의 카메라를 탑재한 신제품을 내놓을 전망이다. 최상위 모델인 P40프로를 세계 첫 '펜타 카메라폰'으로 만들겠다는 것이다. 전작인 P30프로는 카메라 개수가 4개였다. 삼성전자의 최신 스마트폰 갤럭시S20 울트라(카메라렌즈 4개·쿼드)보다 하나 더 많다. 애플도 2020년 9월 공개 예정인 '아이폰12프로'의 카메라 개수를 전작보다 하나 늘릴 것으로 예상된다.
카메라 렌즈 숫자가 많아질수록 사진의 화질은 선명하고 깊이감이 좋아진다. 각각의 렌즈가 다른 사진을 찍은 뒤 이것을 하나로 합치기 때문이다. 메인 카메라가 찍은 사진에다 넓은 시야를 구현하는 초광각 카메라, 사물을 확대하는 망원 카메라, 피사체와 렌즈 간 거리를 측정하는 ToF(비행시간 거리 측정) 카메라가 만든 추가 사진 정보가 더해진다. 예컨대 일반 표준 렌즈는 보통 시야각(화각)이 70~80도인데, 인간의 시야각(120도)보다 좁다. 표준 렌즈로는 인간의 눈이 보는 풍경을 그대로 담지 못하는 이유다. 이럴 때 시야각이 120도 이상인 초광각렌즈가 표준렌즈의 결점을 보완하는 것이다.
현재까지 구현된 스마트폰 멀티 카메라의 줌 기능은 연속적인 '광학 줌' 보다는 '스텝 줌'이다. 애플 아이폰 11프로의 경우 13mm, 26mm 52mm 등 초점거리를 세 개를 번갈아 쓰는 개념이다. 멀티 카메라의 또 다른 단점은 '부피'이다. 카메라 개수가 늘어나면 유닛이 크고 두꺼워진다. 본체 뒷면 외관에 영향을 미치며 스마트폰을 내려 놓을 때 긁힐 우려도 생긴다. 애플 아이폰11시리즈, 구글 픽셀 4시리즈의 단점으로 '카툭튀(툭 튀어나온 카메라)'가 꼽히는 이유이다. 이러한 단점을 보완할 기술이 '이너 줌', 또는 '잠망경 카메라'이다. 삼성전기는 '폴디드 줌'이라는 명칭으로 이 기술을 개발했다. 스마트폰 카메라로 초점을 조절할 때 내부 렌즈가 앞 뒤로 움직인다. 렌즈가 움직이는 공감만큼 카메라 유닛이 두꺼워진다. 이너 줌은 렌즈를 앞뒤가 아닌 상하좌우로 움직인다. 이너 줌의 또하나의 장점은 진정한 의미의 '광학 줌'을 만들 수 있는 점이다. 렌즈 배열을 상하좌우로 조절해 줌 효과를 내므로 3배 ~ 5배 가량의 초점 거리를 자유롭게 구현할 수 있다. 이너 줌의 단점은 '어두운 조리개'이다. 광학계가 복잡해지는 만큼 조리개 값이 어두워진다. 최신 스마트폰의 카메라 렌즈 조리개는 대부분 F2 이하이다. 이너 줌의 경우에는 F3으로 어둡다. 그리고 스마트폰을 떨어뜨릴 경우, 복잡한 내부 광학계가 파손되거나 고장날 우려가 있다. 빛을 받아들이는 효율, 광학식 흔들림 보정 기능의 성능도 이너 줌이 일반 줌보다 떨어진다.
삼성전기 폴디드 줌 기술(삼성전기)
삼성전자가 갤럭시 S20 울트라에 탑재한 '폴디드(접을 수 있는) 렌즈' 이미지. 물속에서 물 밖의 풍경을 볼 수 있는‘잠망경’처럼 빛을 90도 굴절하는 반사체가 있다. 굴절된 빛은 가로로 배치된 망원렌즈를 통과하며 줌(피사체 확대) 효과를 낸다. /삼성전자
삼성전자의 스마트폰 '갤럭시S20 울트라'로 달을 찍은 사진. 줌을 전혀 하지 않았을 때 달은 멀리서 빛나는 작은 점처럼 보인다(왼쪽). 50배 줌을 넣으면 달 표면의 음영이 보이기 시작한다(중간). 100배 줌을 하면 달 표면의 모습이 좀 더 선명하게 찍힌다(오른쪽). /삼성전자
폴디드 렌즈는 잠망경 원리를 활용한 망원렌즈다. 망원렌즈는 멀리 있는 사물을 당겨 찍는 역할을 하는 렌즈다. 멀리 있는 피사체를 당겨 찍으려면 망원렌즈의 길이도 길어질 수밖에 없다. 하지만 폴디드 렌즈는 빛이 들어오면 잠망경처럼 90도로 굴절한다. 보통 '대포'라고 불리는 전문 카메라의 망원렌즈는 배율이 높아질수록 앞뒤로 길어지는 데 비해, 폴디드 렌즈는 스마트폰의 표면을 따라 가로로 길게 붙어있는 모양이다. 여기에다 사진 화면을 확대하는 것과 같은 '디지털 줌' 기술을 더했다. 광학줌으로 달을 5배 당겨 찍은 이미지를 다시 장면 확대 방식으로 100배까지 당겨준 것이다. 화웨이는 P40에서 삼성과 같은 폴디드 망원렌즈와 함께 일반 3배줌 망원렌즈까지 탑재할 전망이다. 망원렌즈만 2개 탑재하는 것이다. 삼성은 이러한 폴디드 줌 기술 확보를 위해 지난해 이스라엘 코어포토닉스를 인수했다. 코어포토닉스는 2012년 데이비트 멘틀로빅 텔아비브 대학교수가 설립한 회사로 광학기술 및 멀티 카메라 핵심 기술을 보유해 온 스타트업이다. 특히 이 회사는 폴디드 줌 기술 특허를 보유하고 있으며, 계열사인 삼성전기에서 담당하고 있다.
'이미지 센서' 기술 경쟁도 치열하다. 이미지센서는 빛을 받아들이는 창문 역할을 하는 부품이다. 센서가 클수록 받아들이는 빛의 양이 많아 어두운 곳에서도 또렷한 사진을 찍을 수 있다. 삼성전자는 갤럭시S20 울트라의 메인 카메라에 1/1.33인치(약 73㎟) 센서를 넣었다. 전작인 S10의 2.9배다. 또한 픽셀 수도 무려 1억 800만 화소를 지원한다. 삼성전자가 독자 개발한 모바일 이미지 센서(아이소셀 브라이트 HM1; 이하 HM1)이다. 'HM1'은 0.8um 크기의 작은 픽셀 1억 800만개를 1/1.33 인치 크기 촬상소자에 압축했다. 화소 수가 많을 수록 크고 또렷한 영상을 촬영할 수 있다. 하지만 무턱대고 화소 수만 늘리면 노이즈가 증가하여 화질이 떨어진다.
삼성은'HM1'에 9개의 인접한 픽셀을 하나의 큰 픽셀(3X3)처럼 동작하도록 '노나셀' 기술을 적용했다. 기존 이미지 센서 방식에 비해 빛을 2배 이상 많이 받아들일 수 있도록 하는 기술이다. 이를 통해 어두운 곳에서 밝게, 밝은 곳에서는 보다 또렷한 화질을 구현할 수 있다는 게 삼성측 설명이다. 병합하는 픽셀 수가 많아질수록 픽셀 간 색상 간섭이 생기게 된다. 때문에 실제 구현하기가 까다로운 기술인데, 삼성전자는 픽셀 간 분리막을 만드는 특허 기술 '아이소셀 플러스'를 적용해 노나셀 구현으로 발생할 수 있는 인접 픽셀 간 간섭과 빛 손실, 산란 현상을 방지했다고 설명했다. 이외에도 보다 향상된 컬러필터 기술과 스마트 ISO(감도), 실시간 HDR(High Dynamic Range), 전자식 이미지 흔들림 보정(EIS) 등 최신 기술들이 대거 적용됐다.
노나셀 구현 방식(삼성전자)
이에 대항하기 위해 화웨이는 신작 P40프로 메인 카메라에 갤럭시S20 울트라보다 큰 1/1.28인치 이미지 센서를 탑재할 것으로 알려졌다. 이론적으로 P40프로가 갤럭시S20 울트라보다 높은 품질의 사진을 촬영할 수 있게 된다. 스마트폰 제조사들의 카메라 기술 경쟁 덕분에 올해 세계 이미지센서 시장 규모가 155억달러(약 18조원·IC인사이츠)에 달하고, 2023년에는 215억달러(약 26조원)까지 성장할 것으로 전망된다.
‘옥의 티’ 전면 카메라 구멍이 사라진 풀스크린 삼성 스마트폰이 광고에 등장했다. 업계 언더 디스플레이 카메라(UDC) 기술 개발 소식이 나오는 가운데 공개돼 하반기 출시 여부에 관심이 쏠린다.
삼성이 세계 최초 출시에 성공하면 폴더블폰에 이어 또 한번 새로운 장을 열 것으로 보인다. 현재 중국 스마트폰 업계도 UDC 기술을 적용한 스마트폰 출시를 준비중인 것으로 파악된다.
전면 카메라 렌즈 구멍이 도드라진 지난해 가을 출시한 갤럭시노트10(왼쪽)과 삼성 에어컨 광고에 등장한 렌즈 구멍이 사라진 스마트폰./ 사진=삼성전자
영상 속 스마트폰 화면은 카메라 구멍이 없어 꽉 찬 느낌을 준다. 가리는 부분 없이 화면 전체를 활용할 수 있다. 기존 스마트폰은 카메라를 탑재하기 위해 화면에 홈을 뚫는 ‘노치’나 작은 구멍을 뚫는 ‘펀치 홀’ 디자인 등을 적용했다. 만약 상용화된다면 ‘언더 디스플레이 카메라(UDC)’ 기술이 적용될 것이란 분석이다. UDC는 카메라와 센서를 화면 아래에 넣는 기술이다. 카메라 구멍 자리에만 투명 디스플레이를 만들어 평소에는 일반 화면으로 쓰다가 카메라 앱을 켜면 카메라 홀이 나타나도록 하는 식이다. 카메라 성능을 저해하지 않으면서 카메라 홀을 숨기는 고도의 기술력을 요구한다. 업계에 따르면 삼성 스마트폰용 디스플레이를 생산하는 삼성디스플레이는 지난해 UDC 제조 장비를 도입하고 양산 준비에 들어갔다. 경쟁사들에 앞서 기술을 선점하려는 전략으로 풀이된다. 작년 샤오미와 오포는 UDC 기술을 적용한 시제품을 선보인 바 있다.
스마트 폰 카메라의 구조 - 휴대용 전자기기의 카메라 모듈의 광학구성
렌즈 교환형 카메라 렌즈(SLR, 미러리스, RF 카메라) 등에 대해 수다를 떨다 보니 일상생활에서 항상 접하게 되는 스마트폰이나 태블릿, 또는 노트북 등의 내장 카메라와 비교해 보고 싶었다. 광학 구성이나 작동 원리는 어떻게 다른지 궁금하다.
휴대용 전자기기(스마트 폰 등)에 카메라는 전자기기의 일부를 구성하는 하나의 모듈로 제조되어지는 경우가 일반적이다. 모듈은 호환성을 위해 일부 표준화가 진행되어 표준화 모듈로 제조된다. 화상과 영상을 담는 이미지 센서와 광학부, 포커싱 구동 부분 그리고 프로세스 칩과 본체와의 연결 커넥터 등이 주요 구성 부분이다.
▶ 카메라 모듈의 이미지 센서(CMOS)
카메라 모듈 이미지 센서 크기는 1/3인치 또는 1/4인치 정도의 소형 CMOS 센서가 주로 사용된다.(디지털 이미지 센서에는 CMOS와 CCD 방식이 있지만, 최근의 디지털카메라는 CMOS 방식이 거의 대부분이다) 이미지 센서의 크기는 각 모델별로 소소한 차이가 있지만, 더 큰 이미지 센서를 적용하면 광학부 또한 더 두꺼워지고 커져야 해서 두께가 얇은 휴대용 기기, 스마트폰에 적용하는데 한계가 있다. 하지만 최근의 7mm 내외의 두께 제한 내 고화소/고해상도의 이미지 품질을 위해 고급 스마트 폰 기종에는 보다 큰 센서를 장착하는 추세다. 올해 5월 소니에서 양산 시작한 최신의 EXMOR R5 IMX318은 1/2.6인치 이미지 센서 크기에 2250만 화소에 준수한 기술력을 보여주고 있다. 보통 1인치 크기의 이미지 센서의 소형 콤팩트 카메라와 비교해서 스마트 폰의 이미지 센서는 작지만 화소에서 있어서는 큰 격차를 보이지 않는 수준에 도달했다. 하지만 화질은 화소수만으로 결정되는 것은 아니다.
여담으로 디지털 카메라의 고화소화 추세는 비단 이미지 센서의 픽셀 집적 기술뿐만 아니라 이미지 프로세싱 과정에 하드웨어의 처리 성능 향상과 밀접하게 관련된다고 생각한다. 고화소(해상도)의 이미지나 영상을 처리한다는 것은 정보/데이터 양의 큰 폭의 증가를 의미한다. 고 해상도의 이미지나 영상을 처리하는 프로세서의 하드웨어(전송속도 및 처리속도) 성능의 향상뿐만 아니라 프로세싱 과정의 최적화된 소프트웨어(압축기술이나 코덱 기술 등) 기술에도 주목해야 하지 않을까.
EXMOR R5 IMX318
▶ 카메라 모듈의 광학부(Lens)
스마트 폰 등의 카메라 모듈에서 가장 관심이 가는 부분은 광학부의 구성이다. 작은 구경의 렌즈로 어떻게 고해상력의 이미지를 구현하고 어떤 구조와 메커니즘을 가지고 있는지 사뭇 궁금했다. 먼저 스마트 폰 등 휴대기기에 사용되는 카메라의 일반적인 사양에 대해 알아보자. 화각은 이해하기 쉬운 35mm(135 필름 규격) 포맷으로 설명하면 초점거리 28mm~33mm에 해당하며 화각으로는 75도~65도의 광각을 가지고 있다. F/값은 약 f/2.2~2.4 수준이며 조리개가 없는 구조이므로 조절할 수는 없다.
이미지 센서도 축소되었고 광학부 또한 이에 맞춰 축소되었으므로 조리개도 축소하여 장착이 가능한 것은 아닐까? 그러나 작은 포맷의 이미지 센서와 렌즈로 구성된 카메라 모듈은 물리적으로 아주 작은 조리개에서 빛의 회절 현상이 문제된다. 아쉽게도 조리개 장치는 빛의 물리적 성질로 인해 카메라 모듈과 같이 빛이 들어오는 작은 입사동을 가진 렌즈 장치에는 실효성이 없다.
휴대용 전자 기기의 소형 카메라 모듈의 광학계는 어떤 광학 설계를 기반으로 하고 있을까? 이는 익히 우리에게 잘 알려진 쿠크 삼중 렌즈의 광학식을 기반으로 하고 비구면 요소 등을 활용하여 광학적 성능의 향상을 도모하고 있다. 쿠크 삼중 렌즈는 19세기 말에 등장하였고 자이스의 테사나 라이카 엘마의 기반이 된 설계식이지만 그 영향력은 최신의 카메라 모듈에도 흔적을 찾을 수 있을 정도로 유서 깊은 광학 설계식이다.
광학요소의 재질은 플라스틱 '레진'이 주로 사용된다. 광학 유리는 가공 난도가 높고 소형화에 한계가 있으며 생산비용도 플라스틱 사출 방식에 비해 매우 높다. 레진을 사용한 사출 성형으로 비구면의 자유로운 형상으로 손쉽게 제작할 수 있고 대량 생산 및 제조비용도 크게 절감할 수 있다.
카메라 모듈의 광학 구성에서 가장 일반적인 형태로 iphone 6 등에 적용되었던 모듈로 6매로 구성된다. 간명한 구조와 크기에 대한 제한 등으로 광학 줌 기능 구현하는 경우는 거의 없다. 디지털 줌 기능으로 5배 줌이 가능하지만 이는 이미지 센서의 일부분만을 사용하는 기능으로 확대된 만큼 화질 저하가 발생한다.
최근 개발된 스마트폰용 카메라 모듈에서 광학 줌 기능이 가능한 모듈(Corephotonics社 Hawkeye)이 선보이기도 했다. 하지만 이 방식 또한 줌 기능을 활성화하기 위한 별도 모듈을 장착하는 방식이라 부피와 공간의 제약에서 자유롭지 못하고, 구조적으로도 얇은 콤팩트 카메라와 유사한 방식의 직각으로 꺾는 내부 구조를 활용하여 전후 이동이 필요한 줌 구동방식을 상하 또는 좌우 방식으로 전환해서 활용하는 구조로 보인다.
▶ 카메라 모듈의 초점 조정 (Focusing)
초기의 카메라 모듈의 렌즈들은 초점 조정이 필요 없는 '고정 초점 렌즈'(Fixed focus lens) 방식이었다. '고정 초점 렌즈'는 깊은 피사체 심도를 가지고 있어서 근거리부터 원거리 및 무한대에 이르는 넓은 범위에 초점을 맞출 수 있도록 설계된다. 간명한 구조로 매우 근접한 피사체 촬영을 제외하고, 대부분의 일반적 상황에서 초점이 맞으므로 간단한 스냅 촬영 용도의 일회용 필름 카메라에 자주 활용되던 렌즈 방식이다. 대표적으로 Iphone 3 까지의 카메라 모듈이 이 방식의 고정 초점 렌즈였다. 간단한 구조로 제작 가능하고 따라서 제조 비용이 저렴한 모듈을 만들 수 있지만 가까운 거리의 피사체를 촬영할 때 초점이 맞지 않으며, 품질/화질(해상도와 선예도 등)이 좋지 못한 단점이 있다.
Iphone 3 camera module
최근의 스마트 폰 카메라 모듈에는 초점 조절이 가능한 모듈 구조가 추가되어 설계/제조된다. 따라서 고정 초점 방식을 고집할 이유가 없으므로, 상대적으로 큰 개구로 설계가 가능하며, 작은 개구를 갖는 고정 초점 렌즈 구조와 비교해서 많은 빛을 받아들일 수 있으므로 촬영 이미지의 화질 개선에도 도움이 된다. 작은 카메라 모듈에서 구동 방식은 코일에 전류를 흘려 발생하는 자력을 이용하는 방식이 일반적이다. 초점 조절을 통해 광학적 성능(분해능)과 전반적 이미지 품질이 향상되었고 보다 근접한 파사체의 촬영이 가능하고 전문 카메라의 얕은 피사계 심도와 비교하기에는 많이 부족하지만 낮은 수준의 심도 표현도 가능하다.
'고정 초점 렌즈'는 '고정 초점거리 렌즈'와 혼용되는 경우가 비일비재하다. 초점이라는 하나의 용어로 초점(focus)과 초점거리(focal length) 등으로 모호하게 두가지 의미를 혼용함으로 발생하는 문제라고 생각한다. '고정 초점 렌즈'는 Fixed focus lens를 칭하고 '고정 초점거리 렌즈'는 Fixed focal length lens로 구분하고자 했다. 즉, '고정 초점 렌즈'는 초점 조정이 필요 없는 렌즈(때때로 무-無-초점 렌즈라고도 사용되지만 이 또한 적절해 보이지는 않는다)를 의미하고, '고정 초점거리 렌즈'는 단-單-렌즈로 흔히 지칭되는 단일 초점거리 렌즈를 의미한다. 영어권에서는 단렌즈(Fixed focal length lens)를 프라임 렌즈(Prime lens)로 칭하기도 한다.
앞에서 기술한 스마트 폰에 장착되는 소형 카메라 모듈에서 광학적 구조의 한계로 작용하는 것은 무엇보다 두께에 대한 제한이다. 약 7mm 이내의 두께로 제한(스마트 폰의 두께를 감안한 제한)이 걸려 있으므로 광학 줌을 위한 기능을 구현하는 것이 어렵고, 심도의 표현이나 피사계 심도로 인해 강조되는 원근감/입체감을 표현하는 것에 한계를 가진다. 이러한 한계를 극복하기 위한 방법으로 최근 듀얼 카메라 모듈이 적극활용되는 이유가 아닐까 생각한다.
듀얼 카메라의 활용도는 꽤 넓은 편인데 대표적으로 광각 사용이 가능한 점을 들 수 있다. 각각의 카메라로 촬영된 이미지를 선택적으로 활용하거나 두 개의 카메라가 촬영한 화면을 합성하여 하나의 카메라 모듈로 촬영한 화각보다 넓게 만드는 것이 가능할 것이다. 그리고 심도 표현이 보다 폭넓어진다. 하나의 카메라는 주 피사체를 하나의 카메라는 배경을 촬영하는 것이 가능하고 배경 촬영의 포커싱 정도를 조정하여 배경 흐림(아웃포커싱)등의 표현이 가능하다. 그리고 피사체의 거리에 따른 입체적 표현이 가능하다, 각각의 카메라의 시차 또는 별도의 거리 측정 알고리즘을 이용해서 원근감과 입체적 효과를 구현할 수 있다고 한다. 앞으로 듀얼 카메라 모듈은 하드웨어적 최적화와 이미지 프로세스의 성능 그리고 소프트웨어의 결합으로 그동안 구현되지 못했던 광학적 성능과 새로운 쓰임으로 발전이 기대된다.
듀얼 카메라의 광학구성
미래의 휴대용 전자기기의 카메라 모듈의 발전을 예상하기란 쉽지 않다. 하지만 최근의 특허 관련 기술 동향을 보면 어느 정도 방향성을 예측할 수 있다. 대표적인 몇 가지를 소개해 보자.
최근에도 관련 제품이 나와서 활용되고 있는 다양한 렌즈 컨버터(Lens converter)를 활용한 방식이다. 기술적으로 어려운 부분은 많지 않다. 단지 실제 판매로 이어질 것인지 시장/상품성의 문제가 걸림돌이 아닐까 싶다. 광학 컨버터를 활용하여 화각 등에 변화를 줘서 다양한 효과를 구현할 수는 있겠다.
스마트 폰 카메라 모듈의 두께 제한은 아래와 같이 한번 꺾인(프리즘이나 반사경을 이용한 방법) 구조로 회피 가능하다. 이를 통해 광학부의 두께 문제를 해결할 수 있고 나아가 이미지 센서의 크기 제한의 족쇄도 해결할 수 있다. 물론 모듈의 전체적인 부피는 증가할 수 있지만, 스마트 폰 내부의 설계에서 해당 공간을 확보하면 해결될 문제다. 기존 얇은 초박형 콤팩트 카메라 등에 적용되고 있는 기술이며 제품화하는데 기술상 문제는 없지 싶다.
위의 구조에서 연장하여 광학 줌이 가능한 구조로 설계하는 것이 가능하다. 이미 일부 콤팩트 카메라 등에 활용되고 있다.
이미지 센서의 면을 곡면으로 처리하여 제작되는 카메라 모듈을 예상해 볼 수 있다. 현재 휘어지거나 접는(리플렉스) 액정 등이 상용화되는 상황에서 곡면의 이미지 센서를 만드는 것이 불가능해 보이지는 않는다. 이는 모든 디지털 이미지 센서를 활용하는 카메라, 영상장비 등에 모두 적용될 수 있는 기술이며 이를 통해 구면수차 등 자이델의 5 수차와 색수차에서 괄목할 만한(혁신적인) 개선이 가능할 것이며, 잔여 수차 문제 해결을 통해 화질(분해능) 개선 효과 또한 많은 개선이 있을 것으로 생각된다. 그리고 광학 수차를 감쇄하기 위하여 여러 장의 요소(Element)나 비구면 요소 등의 사용을 배제할 수 있어 보다 간명한 광학 구성의 렌즈 설계가 가능하다.
이런 곡면의 이미지 센서 등장만으로도 고가의 장비가 넘쳐나는 교환형 카메라와 렌즈 시장에도 일대 혁신이 일어나지 않을까? 기존의 평면 이미지 센서의 카메라를 위한 교환용 렌즈들은 호환이 불가능해지겠지만, 설계의 간소화, 제조에서 고난도 공정 배제, 제조에서의 수율 등 전반적인 부분의 개선으로 실제 제품의 가격에서의 혁신도 예상된다. 그래도 골동스러운 올드 렌즈를 좋아해서 기존의 것에 애착을 가지고 사용하는 사람도 많겠지만, 새로운 기술의 진보나 혁신을 너무 기대하는 것도 반대로 너무 삐딱하게 바라 볼 이유는 없어 보인다. 하지만, 렌즈 교환형 카메라에 곡선형 이미지센서는 몇 가지 중요한 문제점을 가질 수 있는데, 교환되는 광학계마다 적절한 곡률이 다르고 이에 대응하는 유동적이고 가변적인 곡면/곡률을 이미지 센서는 기술적으로 그리 쉽지도 않고 실현 가능할지도 의문이기 때문이다.