모자이크(Mosaic, 문화어: 쪽무늬그림)는 여러 자기 재료(돌, 도자기, 타일, 유리, 패각, 나무 등)를 이용해 건축물의 마루나 벽면, 혹은 공예품의 장식을 위해서 사용하는 방법이다. 작게 조각난 재료를 배열해 그림을 만드는 방식으로 역사는 BC2500년까지 올라간다.

이 용어를 차용해 컴퓨터그래픽에서도 작은 크기의 타일로 이미지를 만든 것 같은 이미지를 모자이크 이미지라고 부르게 되었다. 동영상에서 원본을 보여주지 않고 가려야 할 부분을 모자이크처럼 타일 형태로 만들어 표시하는 것도 모자이크라고 부른다.

일본 AV(Adult Video, 성인비디오)업계의 경우 성기를 보이면 안 된다는 법조항 때문에 AV를 출시할 때 원본에서 남녀 성기 부분을 모자이크로 처리해서 출시한다. 일본 AV에서 모자이크가 처리된 제품을 ‘유모 AV’라고 부르고, 모자이크 처리 없이 성기가 그대로 드러나는 원본 AV는 ‘노모 AV’라고 부른다.

컴퓨터에서 이미지에 모자이크 처리를 하는 원리는 간단하다. 각기 다른 색으로 이미지를 표현하는 여러 개의 픽셀을 하나의 색으로 통일하기만 하면 된다. 화면에서 보는 것처럼 원본은 수 십 개의 픽셀로 구성된 이미지인데, 이를 모자이크로 처리하면 하나의 색으로 된 타일 형태의 사각형이 된다.

사진의 특정 부분을 모자이크로 처리하고 싶다면 포토샵 프로그램의 필터에서 ‘픽셀화-모자이크’를 선택하고 적당한 수치를 입력하면 된다.

수 십 픽셀에 해당하는 원본의 색정보를 제거해 하나의 색으로 통일해 단색의 타일을 만든 뒤에는 원본의 이미지로 복원하는 일이 불가능하다. 각 픽셀이 이전에 어떤 색이었는지 알 방법이 없기 때문이다. 따라서 모자이크 처리 된 이미지나 동영상을 100% 원본으로 복원하는 일은 물리적으로나 이론적으로 불가능하다.

다만 원본에 가깝게 복원하는 기술은 가능하며, 이 기술이 정교해질 경우 사람 눈으로 보기에는 원본과 구분하기 어려운 수준까지 복원이 가능하다. 모자이크 복원의 기반이 되는 기술은 안티알리아싱에 사용하는 이미지 보정기술이다. 여기에 AI를 활용하여 딥페이크, 신경망 활용한 비교교차 추론 등등 여러 기술을 섞어서 원본에 가깝게 복원이 가능하다.

샘플링에서 인접한 스펙트림이 겹쳐서 출력될 때 나타나는 왜곡현상을 계단현상(에일리어싱, Aliasing)이라 하며, 이미지에서는 선이나 픽셀이 날카롭고 거친 모습으로 나타난다. 안티에일리어싱(Anti-Aliasing)은 이런 거친 형태를 해결하기 위한 기술이다.

보간(Interpolation)은 새로운 점을 만들기 위해 여러 점들을 평균화시키는 기술이다. 샘플점들을 직선으로 연결하지 않고 곡선으로 연결함으로써 원래 신호파형에 대한 변형을 줄여주는 기술이다. 이미지나 영상을 확대나 회전 등으로 변환할 때 아무런 정보나 값을 받지 못 하는 픽셀인 홀(hole)이 생길 수 있는데, 이 빈 픽셀에 값을 넣어주기 위하여 주변의 알고 있는 값을 활용해 홀의 값을 유도하는 기술이다.

보간법에는 다음의 네 가지 방식이 많이 사용된다.

(1) Nearest Neighbor interpolation(최근접이웃 보간)
- 가장 가까운 화소값을 사용하는 방식이다.
(2) Bilinear interpolation(쌍선형 보간)
- 인접한 4개 화소의 화소값과 거리비를 사용한다.
(3) Bicubic interpolation(쌍입방 보간)
- 인접한 16개 화소의 화소값과 거리에 따른 가중치의 곱을 사용한다.
(4) B-Spline interpolation(B스플라인 보간)
- 인접한 16개 화소의 화소값과 거리에 따른 가중치의 곱을 사용한다.

위의 보간기술의 차이를 경험하고 싶다면 포토샵을 이용해 확인할 수 있다. 포토샵에서 이미지크기 변환을 선택하고 리샘플링 옵션을 선택하면 7가지의 옵션이 나온다. 이미지를 해당 옵션으로 각기 변환해보면 최근접, 쌍입방, 쌍선형 등의 방식 차이를 확인할 수 있다.

그외 선형변환, Affine transform, Perspective transformation 등의 공간변환(Spatial transform) 기술, 워핑(Warping), Transition morping, Distortion morping 등의 모핑(Morping) 기술 등 다양한 기술이 이미지 변형을 보정하기 위한 기술로 사용되고 있다.

현재 모자이크 제거에 사용되는 기술은 몇 가지 기술을 결합해 사용하는데, 가장 손쉽게 적용할 수 있고 실제로도 기본이 되는 기술은 최근접이웃 보간법이다. 이 기술은 모자이크 된 영역을 여러 개의 블록으로 나누어 다시 색을 칠할 때 주변의 색을 이용해 원본에 가까운 색을 칠하는 기술이다. 가장 쉽게 예를 들어 설명하자면 나누어진 블록을 주변 색의 중간 색으로 칠하는 것이다.

예를 들어 모자이크가 8x8 픽셀로 처리된 이미지라고 하자. 첫 번째 8x8 픽셀은 빨간색이고, 다음 8x8픽셀이 흰색이라고 하자. 이 경우 원본은 빨간색에서 흰색으로 그라디에이션 형태였을 것으로 추측할 수 있다. 따라서 왼쪽이 빨간색, 오른쪽은 흰색, 그 사이는 빨간색에서 흰색으로 변하는 색일 것으로 추론할 수 있다. 따라서 모자이크의 블록 크기를 4x4로 나누어 칠하려고 할 때 첫 번째 4x4는 빨간색, 두 번째 4x4는 여린 빨간색, 세 번째 4x4는 좀더 여린 빨간색, 네 번째 4x4는 흰색으로 칠한다. 이런 과정을 반복하면서 모자이크 타일의 크기를 8픽셀에서 4픽셀, 2픽셀, 1픽셀로 줄여가면서 원본에 가깝게 복원한다.

최근접이웃 보간법을 활용한 복원기술로 PixelNN이 있다. PixelNN은 미국의 카네기멜론대학에서 개발한 이미지 복원 기술로 최근접이웃 보간법과 신경망을 활용한 기술이다.

구글이 ‘Pixel Recursive Super Resolution’ 논문을 통해 2017년에 발표한 연구 프로젝트 중 하나인 모자이크 제거 기술은 ‘구글 브레인(Google Brain)’을 이용해 디지털 화상에서 모자이크를 제거하는 기술이다. 이 기술은 인공지능을 이용해 크기가 큰 픽셀을 점차 많은 픽셀로 만들어 원본에 가깝게 복원하는 기술이다. 구글이 사용하는 방법은 다른 사진과 교차 비교하는 방법이다. 즉 모자이크 사진과 비슷한 패턴을 보이는 다른 사진과 교차 비교하는 방법이다. 비교 사진을 모자이크 했을 때 목표 사진과 비슷한 패턴을 보이는 사진을 이용해 원래의 이미지가 비교된 사진과 비슷하다고 추론하는 것이다. 어떤 사진을 모자이크 했을 때 복원하려는 목표 사진과 비슷할 것인가를 AI가 판단하는 기술을 ‘컨디셔닝 네트워크’라고 이름 붙였다.

목표 사진과 비슷한 고해상도 사진을 결정했다면 고해상도 사진을 바탕으로 모자이크 사진을 채워나간다. 이를 ‘프라이어 네트워크’라고 이름 붙였다. 즉 인공지능이 수 많은 사진 중에서 비슷한 패턴을 찾을 수 있는 능력을 바탕으로, 다른 고해상도 사진을 참고해 모자이크 사진을 복원해가는 방식이다. 이런 과정을 통해 구글은 원본에 가까운 모습으로 복원된다.

삼성은 AI 화질 엔진인 ‘퀀텀 프로세서 8K’를 발표했다. 이 기술은 저해상도 영상을 고해상도 영상으로 바꾸어주는 기술이다. HD나 4K 영상을 8K(7,680X4,320)로 업스케일 함으로써 8K QLED TV에서 볼만한 콘텐츠를 확보하기 위한 기술이다. 머신 러닝(Machine Learning)을 활용한 퀀텀 기술을 통해 저화질 영상의 화소를 늘리면서도 AI가 밝기·명암·화면 번짐 등을 보정해 8K 수준의 고화질로 변환해주는 기술이다. 업스케일 기술은 비디오향상소프트웨어(Video Enhancement software)의 성능에 따라서 품질이 달라진다. 시중에 다양한 비디오향상소프트웨어가 개발 판매 중인데, 이들 소프트웨어는 일반인도 구매해 사용할 수 있다.

업스케일 기술은 저해상도를 고해상도로 바꾸는 기술이라는 점에서 픽셀이 뭉개진 모자이크(저해상도)를 좀더 선명한 이미지(원본)로 복원하는 기술로 활용할 수 있다. 업스케일 기술에 보간 기술을 비롯해 AI를 활용한 추론 기술이 사용된다.

와이푸 프로그램은 이미지를 스케일업 해주는 프로그램인데, PC버전 외에 웹사이트 버전도 있다. 사용자가 웹사이트에 이미지를 올리기만 하면 와이푸 서버에서 고해상도 이미지로 변환해 내려받을 수 있게 해준다. 지원 해상도는 3000x3000 픽셀까지 가능하다.? 신경망을 이용해 해상도를 늘릴 때 단순하게 픽셀 수만 2배로 해주는 것이 아니라 선명함이 유지되도록 인공지능이 보정해 새롭게 그린 이미지를 결과물로 제공한다. 와이프 기술의 특성 상 사진도 업스케일이 잘 되지만, 만화, 애니 장면, 일러스트레이션 등 2D 그래픽의 업스케일에서 특히 탁월한 성능을 발휘한다.

웹사이트 주소 : http://waifu2x.udp.jp/

샘플로 춘리 사진을 올려서 비교해보자.

원본은 400x400 픽셀 크기의 이미지다. 포토샵에서 화소수 4배인 800x800 픽셀로 이미지 크기를 키워보고, 다시 4배인 1600x1600 으로 키운 이미지와 와이푸 사이트에서 800x800으로 키우고 다시 한 번 1600x1600으로 키운 이미지와 비교해보자.

포토샵은 이미지를 키울 경우 노이즈도 많고, 선이 매우 지저분해지면서 화질이 급격하게 떨어지는 것을 볼 수 있다. 반면 와이프 사이트에서 키운 이미지는 원본처럼 노이즈도 없고, 선도 매우 깔끔하게 정리된 것을 볼 수 있다.

딥페이크(deepfake)는 AI 기술을 활용해 기존의 인물 얼굴이나 특정 부위를 CG처리한 합성 영상을 말한다. 예를 들어 A가 출연한 영화에 B의 얼굴 이미지를 합성해 B가 출연한 영화처럼 만드는 기술이다. 이때 A의 얼굴에 B의 이미지를 단순 결합한다면 표정도 어색할 것이고, 얼굴 방향이 바뀌거나 감정을 표현할 때 많이 어색할 것이다. AI는 A의 얼굴과 B의 얼굴을 동영상을 통해 딥러닝하면서, A의 영상을 프레임 단위로 분석해 B의 얼굴로 자연스럽게 CG처리를 한다. 딥페이크 기술은 유명인의 얼굴을 이용한 가짜(페이크) 포르노 제작에 사용되면서 논란이 많이 된 기술이다. 이 기술을 이용해 실제로 딥페이크 영상을 만들 경우 음란물이 아니라 하더라도, 초상권 침해로 고소당할 수 있기 때문에 기술 사용에 주의해야 한다.

딥페이크 기술과 비슷한 방법으로 만들어진 프로그램 중 하나가 딥누드 프로그램이다. 50달러 짜리 앱으로 개발된 딥누드는 이미지 파일에서 여성의 옷을 벗겨 누드로 보여주는 기술이다. 예를 들어 수영복 입은 여성의 사진을 프로그램에 넣어서 돌리면, 수영복이 제거된 누드 사진을 결과물로 만들어준다.

딥누드 프로그램 역시 AI를 활용한 기술로 사진에서 몸매를 추론한 다음에 윤곽을 다시 그리고, 옷에 해당하는 부분을 피부톤에 맞게 다시 색칠을 함으로써 완성한다. 추론을 활용한 방식이기 때문에 비키니 사진처럼 몸매를 추론하기 쉽고 살색이 많은 사진은 상당히 사실적으로 결과물을 내놓는 반면, 일반 옷을 입은 사진은 몸매 추론이나 피부 추론이 어려워서인지 결과물이 신통치 않다. 특히 옷색깔이 피부 색과 비슷할 경우에는 옷과 피부 구분을 못해서인지 결과물이 좋지 않다.

이 프로그램은 개발자들이 오락용으로 개발했다고 말했는데, 윈도와 리눅스 버전으로 출시했으며 무료와 유료 두 가지 버전이 있다. 딥누드 프로그램이 출시되고 리벤지포르노에 활용되는 부작용이 있을 것이라는 언론보도가 나오자 개발자들이 프로그램을 내리고 더 이상 배포하지 않겠다고 선언했다.

일본에서 개발한 JavPlayer는 모자이크파괴 프로그램이라 부르며 전파되고 있다. JavPlayer는 앞서 설명한 기술 등을 이용하여 일본 AV(Adult Video)에서 모자이크 처리된 부분을 최대한 복원해 동영상으로 저장해주는 프로그램인데 생각보다 우수한 결과물을 보여주자, 지금까지 나온 많은 일본 AV물을 JavPlayer로 다시 인코딩해 공유하는 현상이 나타나고 있다. 원본 자체로 복원하는 것은 불가능하지만 보정기술로 픽셀을 세밀화시키고 패턴비교 매치 합성을 통해 원본에 가깝게 합성함으로써 오리지날 영상에 매우 비슷하며, 모자이크 처리된 영상보다는 더 자극적인 감상이 가능해서 빠른 속도로 모자이크파괴 영상의 배포와 공유가 증가하고 있다.

이미 색정보가 사라진 픽셀덩어리인 모자이크 타일 블록의 색을 다시 원본의 픽셀 정보로 복구하는 방법은 이론상으로 불가능하다. 현재까지 개발된 보간법 등을 활용한 복원만으로는 흐릿한 영상을 얻을 수 있다. 여기에 구글이나 PixelNN, 딥페이크, 딥누드 등에 사용한 AI와 신경망을 활용하면 원본에 가까운 이미지를 추론해 새로 그리거나, 비슷한 이미지로 대체 합성할 수 있다.

원본에 가까운 이미지를 추론하기 위해 필요한 것은 원본과 관련된 리소스다. 딥페이크 영상을 만들 때 홍길동의 정면 얼굴 사진 하나만 있는 경우라면 옆모습, 뒷모습, 윗모습 등을 재현하는데 한계가 있다. 반면 홍길동의 정면, 좌우, 윗면, 아랫면 등 다양한 각도 찍은 홍길동 사진 수 천 장이 있다면 오리지날 배우처럼 합성이 가능하다. 다양한 각도에서 찍은 홍길동의 얼굴 사진이 확보된다면 홍길동의 얼굴을 3D로 만들 수 있고, 이렇게 되면 3D CG로 영화를 만드는 것처럼 동영상의 배우 A의 얼굴을 홍길동의 얼굴로 거의 완벽하게 대체할 수 있다.

한 번도 공개된 적이 없는 여배우의 가슴이나 유륜 유두의 모양은 추론이 불가능하기 때문에 다른 배우의 가슴과 유두로 대체해 합성해야 하지만, 한 장이라도 누드가 공개된 사진을 구할 수 있다면 홍길순 여배우의 가슴과 유두를 3D 모델링으로 만들어 완벽에 가깝게 재현할 수 있고, 3D 모델을 활용해 홍길순의 원래 가슴처럼 사실적으로 동영상에서 구현할 수 있다. 결국 모자이크 복원이 정교하고 사실적으로 이루어지기 위해 필요한 것은 더 많은 빅데이터다.

마블의 히어로는 현실에 존재하지 않는다. 디즈니 캐릭터들도 환상이다.
이들은 영상 속에서만 진짜처럼 표현되는 CG로 만들어진 영상들이다.
수 많은 아이돌과 모델, BJ의 얼굴과 가슴도 대부분 자연산이 아닌 성형의
결과물이다. 그러나 사람들은 현실 같은 환상, 환상 같은 현실에 환호한다.
하나로 통합되어 이미 사라진 원래의 오리지날 픽셀 정보를 복원하는 일은
불가능하다. 그러나 영화가 걸어온 길처럼 진짜처럼 보이는 환상의 영상,
또는 진짜보다 더 정교하고 현실 같은 영상은 만들어낼 수 있다.

진짜가 아닌 만들어진 성형 얼굴, 성형 가슴에 팬들이 환호하고 즐기는 것처럼
진짜는 아니지만 진짜처럼 보이는 가짜 영상에 팬들은 환호하고 즐길 수 있다.
그렇다면 모자이크 복원 기술의 목표는 오리지날 픽셀 정보의 복원이 아닌,
진짜처럼 보이는 가짜, 현실처럼 보이는 환상을 만들어내는 것이 될 수도 있다.
기술이 발전한다면 원래 주인공의 가슴보다 더 예쁜 얼굴과 가슴을
합성해낼 수도 있을 것이다.

타고난 자연 얼굴이 아니라 만들어낸 성형 얼굴과 가슴에 환호하는 것처럼
원본보다 더 원본 같은 현실 같은 환상에 환호할 수도 있다.

결국 모자이크 제거 기술의 미래는 복원이 아니라 재창조가 될 것이다.