POPCO.NET - Make your Digital Life

SONY | ILCE-7RM2 | 2016-09-24 00:24:55
Manual | Multi-Segment | Manual WB | 1/125s | F8.0 | 0.00 EV | ISO-200 | 90.00mm | 35mm equiv 90mm | Flash not fired; Compulsory flash mode
 

 폰은 작아야 한다는 방침으로 2년에 걸쳐 플러스가 아니라 작은 녀석을 써왔던 저이지만, 이번에는 함락될 수 밖에 없었습니다. 6/6S 때의 OIS 부재는 참을 수 있었지만 듀얼카메라는 비록 제가 기대하던 방식은 아니라도 그냥 넘어가기엔 차별화가 너무 컸습니다. 물론 지금도 폰이 크다고 불평하고 있긴 합니다만...

 어쨌든 듀얼카메라는 2가지 용도로 쓸 수 있습니다. 하나는 기본기능인 광학줌, 그리고 다른 하나는 듀얼카메라를 이용한 거리판별을 이용해 아웃포커싱 처리를 하는 기능입니다. 공식적으로 '인물사진' 모드라고 불리는 이 기능은 iOS 10.1부터 쓸 수 있고 아직은 베타버전만 있습니다.

 사람의 두 눈이 거리를 판별하는 것과 비슷한 원리로 시차가 있는 두 카메라를 이용해 거리를 분석하는 것입니다. 이론 상 같은 화각, 같은 센서의 카메라 2개를 쓰는 게 가장 효율이 좋지만, 다른 화각의 조합도 기술적으로 큰 문제는 없습니다. 물론 이 방법에 한계는 분명 존재합니다.

 일단 시차를 이용한 거리분석은 기본적으로 영상분석이지 레이더 같은 개념이 아닙니다. 즉 정확하게 거리를 판별하기는 쉽지 않습니다. 인간의 뇌야 수억년 진화의 산물이지만, 영상분석은 아직 그정도로 영리하진 않습니다. 참고로 이 2개의 카메라를 이용한 거리측정은 Xbox 360용 키넥트에서 쓰인 바 있고, 애플은 원천기술을 가진 프라임센스를 인수했습니다. Xbox One용 키넥트는 다른 기술을 이용하는데, 적외선 마커를 쏘아서 반사를 인식하는 것으로, 레이더에 가까운 원리입니다. 덕분에 거리측정과 경계 판별이 구형보다 훨씬 좋습니다.

 어쨌든 이 기술의 관건은 단순 시차만으로 배경과 피사체를 완전히 분리할 수 있는 건 아니고, 경험에 의해 축적되는 알고리듬 개선이 필수적입니다. 현재까지 테스트 해본 바로 애플이 이 영역에 아주 오랜 투자를 한 거 같지는 않고, 덕분에 한계도 있습니다. 다만 하드웨어의 큰 개선 없이 소프트웨어 개선만으로도(주로 머신러닝을 통해) 앞으로 큰 향상을 기대할 수 있는 게 이 기술의 강점이라고 해야겠습니다. 물론 아이폰 자체의 처리성능도 뒷받침 되야하니 하드웨어 의존이 아예 없는 건 아니지만요.

 거리와 경계 파악하는데 있어 정확성과 자연스러움의 한계 외에도, 이 기능은 대형센서 카메라의 아웃포커싱과는 한가지 표현적으로 크게 다른 점이 있습니다. 바로 '보케'라고 불리는 빛망울 표현법입니다. 대형센서 카메라에서 아웃포커싱이 되고, 보케가 나타나는 원리는 착란원이라고 불리는 최소단위 점의 크기에 기인합니다. 포커싱이 안 맞을수록 픽셀 하나하나가 수십 수백배까지 커지고, 그것이 겹치면서 배경흐림이 되는 것입니다. 그 와중에 불빛과 같이 특별히 빛이 센 것들은 일반적인 반사로 보여지는 물체보다 더 강하게 착란원이 표시됩니다. 그에 따라 원형의 빛 덩어리인 '보케'가 생겨나게 됩니다.

 하지만 아이폰7 플러스의 인물사진 모드는 그런 식으로 아웃포커싱이 되는 게 아닙니다. 근본적으로 인물사진 모드의 아웃포커싱은 인스타그램 등의 미니어쳐 필터와 같은 방식입니다. 가우시안 필터라고도 하는 블러 필터로 흐릿하게 만드는 것이죠. 이런 블러 필터는 점광원이 보케가 되는 것은 재현하지 못 합니다. 그냥 고르게 흐리게 만들 뿐이니까요. 물론 이론적으로 알고리듬이 발전해서 단순 블러가 아니라 각 픽셀의 색상이나 강도에 따라 보케를 시뮬레이션해서 배경흐림을 만들어주는 것도 가능합니다. 다만 그건 수백만 픽셀 단위의 시뮬레이션을 요구하는 것으로, 현재 스마트폰의 프로세싱 파워에서 기대할 수 있는 수준은 아닙니다. 사실 PC에서도 몇분은 걸리는 처리작업일 겁니다.

 '인물사진' 모드라고 이름붙여져 있긴 하지만, 인물촬영에서만 정상적으로 작동하는 건 아닙니다. 물론 인물촬영이면 얼굴인식과 조합해서 좀 더 제대로 작동하겠죠. 하지만 기본적으로 거리인식으로 작동되기 때문에 왠만한 피사체에는 적용 가능합니다. 효과는 촬영 전 실시간으로 표시되서 어느정도일지 쉽게 예상할 수 있습니다.


 현재 인물사진 모드에는 몇가지 제한이 있습니다.

1. 2배 혹은 그 이상의 배율로만 촬영 가능

 2개의 렌즈 중 망원이 촬영, 광각은 거리분석을 보조하는 역할로만 작동됩니다. 이론 상 광각렌즈의 시야를 전부 볼 수 없는 망원렌즈가 거리분석을 해줄 수는 없으니 당연한 일입니다. 사실 이런 이유와 다중노출에 의한 화질향상 때문에 저는 화각이 다른 두 카메라 보다는 같은 카메라를 여러개 쓰는 게 더 나은 멀티카메라 기술이라고 생각합니다. 실제 애플은 동일카메라를 여러개 이용하는 멀티카메라 기술회사를 인수했지만, 기술적인 문제가 있는지 이번엔 사용되지 않았죠.

 또 망원렌즈엔 OIS가 없다는 한계 때문에 손떨림 보정도 마찬가지로 없습니다. 그에 따라 블러나 노이즈 증가 우려가 있습니다.


2. 적정 거리가 있음

 피사체와 거리가 너무 가까워도, 멀어도 안 됩니다. 최단거리는 30cm 가량, 최장거리는 2.5m 이내로 보입니다. 이는 카메라와 피사체의 거리가 멀어지면 시차가 적어지면서 거리판별을 하기 힘들어지기 때문으로 보입니다. 대형센서 카메라의 아웃포커싱도 비슷한 원리로 배경흐림이 점점 덜해지지만, 그냥 배경이 더 뚜렷해질 뿐 아예 안 되는 건 아닌데 아이폰의 경우엔 아예 거리인식 자체가 제대로 작동할 수 없게 되어서 불가능한 걸로 보입니다.


3. 어두우면 안 됨

 콘트라스트 부족에 의한 거리판별능력 저하에 의한 걸로 보입니다. 즉 피사체에 딱히 조명이 비춰지지 않는 어두운 상황이라면 제대로 작동하지 않습니다. 약간 침침한 카페 정도 밝기에서는 잘 작동하는 듯 합니다.


4. 빛망울 표현은 되지 않음

SONY | ILCE-7RM2 | 2016-10-16 20:51:15
Aperture Priority | Multi-Segment | Auto WB | 1/2s | F4.0 | -1.00 EV | ISO-400 | 70.00mm | 35mm equiv 70mm | Flash not fired; Compulsory flash mode
 

 위에 설명한 원리에 따라 이런 식의 광원 표현은 되지 않습니다. 이론 상 이것도 소프트웨어적으로 구현할 수 있지만, 요구되는 프로세싱 파워 상 상당한 시간이 걸릴 걸로 보입니다. 물론 일단 실현가능해진다면 조리개에 의한 각짐이나 구경에 의한 주변부 찌그러짐은 물론, 비구면렌즈에 의한 양파링 현상까지 모두 극복할 수 있는 환상의 영역이긴 합니다. 하지만 대략 4년 안에는 가망 없다고 해야겠습니다.


5. DoF 변화가 선형적이지 않음

 애플의 자료에 따르면 거리분석은 9단계로 구분된다고 합니다. 각 간격은 일정하게 정해져 있는 건 아니지만, 어쨌든 모든 거리에 완전한 표현이 되진 않는다는 얘깁니다. 만약 사진이 매우 가까운 것부터 무한대까지 고른 거리의 피사체들로 이루어져 있다면, 자연스러운 카메라의 표현이라면 멀어집에 따라 자연스럽게 점점 흐려지는 식으로 되야 합니다. 하지만 인물사진 모드는 거리 레이어의 갯수에 한계가 있기에 아웃포커싱 표현에 있어 다소 점프가 있을 수 있습니다. 이는 사진의 구도나 피사체의 특성에 따라서 두드러질 수도 있고, 거의 체감하지 못할 수도 있습니다.

Apple | iPhone 7 Plus | 2016-10-02 12:56:11
Program Normal | Spot | Auto WB | 1/60s | F2.8 | 0.00 EV | ISO-125 | 6.60mm | 35mm equiv 57mm | Flash not fired; Compulsory flash mode

Apple | iPhone 7 Plus | 2016-10-02 12:56:11
Program Normal | Spot | Auto WB | 1/60s | F2.8 | 0.00 EV | ISO-125 | 6.60mm | 35mm equiv 57mm | Flash not fired; Compulsory flash mode

 피규어를 상대로 테스트 해본 결과 배경날림은 대충 이정도 느낌입니다. 원리적으로 필터를 먹이는 거기 때문에 거리가 멀거나 가깝다고 아웃포커싱 구현에 한계가 생기는 건 아닙니다. 다만 지금까지의 아웃포커싱에 대한 인식이 기존 카메라에 기반하고 있기 때문에, 거리가 먼데도 비정상적으로 많이 아웃포커싱 된다거나 하도록 되진 않도록 하고 있는 듯 합니다. 하지만 샘플을 면밀히 보면 거리와 아웃포커싱에 직접적 연관은 없다는 느낌이 옵니다.

Apple | iPhone 7 Plus | 2016-10-02 00:46:06
Program Normal | Spot | Auto WB | 1/60s | F2.8 | 0.00 EV | ISO-500 | 6.60mm | 35mm equiv 57mm | Flash not fired; Compulsory flash mode
Apple | iPhone 7 Plus | 2016-10-02 00:46:06
Program Normal | Spot | Auto WB | 1/60s | F2.8 | 0.00 EV | ISO-500 | 6.60mm | 35mm equiv 57mm | Flash not fired; Compulsory flash mode

 또한 위 피규어의 사례를 보면, 거리 및 경계 분석이 성공적이지 못한 경우를 볼 수 있습니다. 머리에 얹은 안경을 배경으로 판별하고 블러처리 해버린 것이죠. 이 기술은 근본적으로 이미지 분석기술이기 때문에, 분석이 불완전한 경우 이런 일이 생길 수 있습니다. 주로 색상이 이질적인 경우 배경으로 판별해버릴 가능성이 높습니다. 이 경우도 안경테가 검은색이라 노란색 머리와의 차이 때문에 배경으로 인식한 걸로 보입니다.

Apple | iPhone 7 Plus | 2016-10-02 13:06:16
Program Normal | Multi-Segment | Auto WB | 1/60s | F2.8 | 0.00 EV | ISO-64 | 6.60mm | 35mm equiv 57mm | Flash not fired; Compulsory flash mode
Apple | iPhone 7 Plus | 2016-10-02 13:06:16
Program Normal | Multi-Segment | Auto WB | 1/60s | F2.8 | 0.00 EV | ISO-64 | 6.60mm | 35mm equiv 57mm | Flash not fired; Compulsory flash mode

 여기서도 비슷한 사례를 볼 수 있습니다. 엄연히 피규어의 본체라 할 수 있는 검은색 어께관절이 배경으로 인식되어 흐려졌습니다. 거기에 그치지 않고 목 밑의 약간 그늘진 부분도 흐림처리가 되었습니다. 또 앞쪽의 물방울은 블러처리 되었는데, 같은 거리의 우산 천 질감은 선명하게 보이고 있습니다. 이는 피사체보다 앞쪽이라서 배경흐림이 된 게 아니라, 물방울을 피규어보다 뒤에 있는 걸로 잘못 인식하고 처리된 것으로 보입니다.

Apple | iPhone 7 Plus | 2016-10-04 07:17:10
Program Normal | Multi-Segment | Auto WB | 1/60s | F2.8 | 0.00 EV | ISO-32 | 6.60mm | 35mm equiv 57mm | Flash not fired; Compulsory flash mode
Apple | iPhone 7 Plus | 2016-10-04 07:17:10
Program Normal | Multi-Segment | Auto WB | 1/60s | F2.8 | 0.00 EV | ISO-32 | 6.60mm | 35mm equiv 57mm | Flash not fired; Compulsory flash mode

 이건 상당히 잘 처리된 거 같군요. 기술의 특성 상 정말 자연스럽게 되는 경우도 있고, 아닐 때도 있습니다. 물론 이것도 면밀히 따져보면 완전히 자연스러운 건 아닙니다. 

Apple | iPhone 7 Plus | 2016-10-08 15:55:27
Program Normal | Multi-Segment | Auto WB | 1/60s | F2.8 | 0.00 EV | ISO-320 | 6.60mm | 35mm equiv 57mm | Flash not fired; Compulsory flash mode
Apple | iPhone 7 Plus | 2016-10-08 15:55:27
Program Normal | Multi-Segment | Auto WB | 1/60s | F2.8 | 0.00 EV | ISO-320 | 6.60mm | 35mm equiv 57mm | Flash not fired; Compulsory flash mode
 

 인물사진도 몇장 있지만 초상권 문제로 공개할 수 있는 게 거의 없네요. 이 사진의 경우엔 정말 인물을 찍은 건데, 얼굴인식이 보조된 덕분인지 피사체 인식도, 배경흐림 처리도 자연스러운 편입니다. 또 인터뷰어보다 앞쪽에 있는 여자분의 처리도 비교적 자연스럽게 되었습니다. 배경과 피사체의 거리가 어느정도 있어서 확실하게 구분되는 걸 좋아하는 듯 하며, 이런 특성으로 볼 때 애플이 이 모드를 굳이 '인물사진' 모드라고 이름붙인 이유를 알 듯도 합니다.

Apple | iPhone 7 Plus | 2016-10-02 13:17:26
Program Normal | Multi-Segment | Auto WB | 1/60s | F2.8 | 0.00 EV | ISO-64 | 6.60mm | 35mm equiv 57mm | Flash not fired; Compulsory flash mode
SONY | ILCE-7RM2 | 2016-10-02 13:17:04
Aperture Priority | Multi-Segment | Manual WB | 1/60s | F4.0 | 0.00 EV | ISO-200 | 55.00mm | 35mm equiv 55mm | Flash not fired; Compulsory flash mode

 풀프레임 카메라와 비교하면 아웃포커싱 효과는 어느정도일까요? 아이폰7 플러스의 망원렌즈 화각은 35mm 판형 환산 56mm입니다. 운 좋게도 저에게 55mm f1.8 렌즈가 있어서 비슷한 거리에서 어느정도 조리개의 배경흐림이 발생하는지 비교해볼 수 있었습니다.

 일단 이론 파트에서도 얘기했지만, 대형센서의 아웃포커싱과 인물사진의 아웃포커싱은 근본적으로 원리가 다르기 때문에 완전히 대응할 수 있는 세팅값은 없습니다. 다만 대략적인 배경흐림의 정도를 보면 풀프레임 기준 f4와 비슷한 원경 배경흐림으로 보입니다. 원리적 차이는 이 두 사진에서도 쉽게 알 수 있는데, 풀프레임 카메라는 거리에 따른 자연스러운 처리가 되는 반면, 아이폰7 플러스는 배경과 피사체를 딱 분리한 뒤, 배경을 균일하게 밀어버리는 처리를 하는 걸 알 수 있습니다. 또 풀프레임 카메라에선 낙엽 쪽을 보면 빛망울의 형상을 읽을 수 있지만, 아이폰에는 없습니다. 균일하게 블러처리 하는 거니깐요.

 일단 아이폰7 플러스 쪽이 적어도 재래식 카메라와 사진술의 관점에선 '자연스럽지 않다' 라고 부를 수 있겠습니다. 거리에 따른 자연스러운 변화도 없고 하니깐요. 하지만 애초에 그 아웃포커싱의 자연스러움이란 게 우리가 백년 넘게 써오던 카메라의 광학적 결함 내지는 한계에 의해 보아오던 것입니다. 사실 보는 그대로의 표현이라는 측면에서 아웃포커싱은 전적으로 방해만 되는 존재죠. 인간의 눈은 이렇게 심하게 초점이 안 맞지 않습니다. 다만 그 기술적 한계라는 부분이 예술적 표현의 수단으로써 이용되어 온 것이고, 그게 보케의 표현을 사람들이 그렇게 중시하는 이유입니다.

 그러므로 전통적인 관점에서 아이폰7 플러스의 아웃포커싱은 다소 부자연스러울 수 있지만, 이는 기술발전과 학습효과에 따라 달라질 수 있는 부분입니다. 가령 인스타그램 등에서 선형으로, 혹은 원형으로 배경흐림을 하던 것에 비하면 피사체의 거리와 경계를 인식해서 적용되는 점은 분명히 더 정교한 기법입니다. 전용카메라 대신 스마트폰 카메라만 접해온 세대, 그리고 인스타그램과 페이스북으로 사진을 공유하고 항유해온 세대의 입장에선 이런 배경흐림이 적어도 더 익숙한 것일 순 있는 겁니다. 또 향후 기술발전에 따라 보케 표현도 같은 것도 가능해질 여지가 있습니다. 두 노선이 서로를 향해 다가가고 있으니, 어느 시점에선 만나게 되겠죠. 그 시점에선 이런 소프트웨어 후처리에 의한 표현이 자연스럽다고 여겨질 때가 될 겁니다.

 아이폰7 플러스의 인물사진 모드는 분명 기술적 한계가 있습니다. 그리고 제가 렌즈교환식 카메라를 포기하도록 만들지도 않았습니다. 아직은 말이죠. 다만 이 기술을 단순히 스마트폰이 재래식 카메라에 도전할 수 있게 한다는 관점이 아니라, 스마트폰 카메라의 표현력 향상이란 점에서 본다면 한계에도 불구하고 분명 진보이긴 합니다. 게다가 이건 시작일 뿐이고 여러 더 정교하고 자연스러운 기법들이 개발되겠죠.

 첫술에 배부를 순 없고 아직 문제가 있긴 하지만, 쓸 수 있을 때는 분명 즐거운 결과를 내줍니다. 정식으로 iOS10.1이 나오고 나면 인스타그램과 페이스북에 인물사진을 이용한 사진들이 숱하게 올라올 것이고, 경쟁제품들도 비슷한 기술을 점점 탑재하면서 사람들은 이 기술에 익숙해져 갈 겁니다.