딥러닝 기반 영상복원...영화처럼 CCTV 화면 크고 선명하게 본다

[이달의 과학기술인상-이경무 서울대 전기정보공학부 교수]

8배로 확대 원본 가깝게 초해상도 복원 알고리즘 개발

과학수사·교통단속·의료진단 등 광범위한 분야에 활용

이경무 서울대 교수가 딥러닝 기반 영상 알고리즘에 대해 연구원들과 웃으며 대화를 나누고 있다. /한국연구재단

첩보영화 ‘600만불의 사나이’ ‘마이너리티 리포트’ ‘미션 임파서블’을 보면 공통으로 나오는 장면이 있다. 뿌옇던 폐쇄회로 TV(CCTV) 화면을 유심히 보던 주인공이 무언가를 발견하고 화면을 손으로 확대하거나 버튼을 누른다. 그 순간 작은 사이즈의 물체가 커지며 세밀하면서도 선명하게 나타난다.

예전에는 영화에서나 볼 수 있던 기술이었지만 이제는 인공지능(AI) 딥러닝 기법을 활용해 지능형 CCTV를 통해 과학수사나 보안감시·교통단속이 가능해진 것은 물론 의료진단, 군사용 경계 분석, 우주에서 본 지구영상 판독 등 다양한 분야에서 질 높은 영상정보를 얻게 됐다.

과학기술정보통신부가 주최하고 한국연구재단과 서울경제신문이 공동 주관하는 ‘이달의 과학기술인상’ 2월 수상자로 선정된 이경무(56) 서울대 전기정보공학부 교수가 개발한 ‘딥러닝 기반 초해상도 알고리즘’을 적용하면 저화질 영상을 최대 8배까지 확대한 후 원본 영상에 가깝게 복원할 수 있다. 그는 “영상화면을 확대할수록 화질이 떨어지는 게 아니라 오히려 기존 기술에 비해 획기적으로 초해상도 영상을 복원하는 것이 강점”이라며 활짝 웃었다.

그 비결은 세계 최초로 20개 층의 매우 깊은 컨볼루션신경망(Convolutional Neural Network·CNN)과 잔류연결(Residual Connection) 개념을 사용한 고심층 초해상도네트워크(VDSR) 시스템에 있다. 컨볼루션은 ‘합성곱’을 뜻하는데 신경망의 컨볼루션 층이 깊을수록 입력 영상의 넓은 맥락정보를 활용할 수 있어 의미 있고 유용한 특징을 추출할 수 있다. 입력값은 그대로 출력하고 출력값과 입력값의 차이만을 학습하는 잔류연결이라는 신개념을 통해 빠른 딥러닝 속도와 안정된 성능을 끌어냈다. 확장심층 초해상도네트워크(EDSR)와 다중심층 초해상도네트워크(MDSR)를 통해 성능과 수행속도를 대폭 높였다.

이 교수는 “기존 기술과 달리 빅데이터로 다양한 실제 영상의 특징을 네트워크에 잘 학습시킬 수 있는 방법을 개발했다”며 “뉴럴네트워크 층을 60층까지 깊게 만들어도 학습이 가능한 알고리즘을 개발했다”고 특징을 설명했다.

이에 따라 저가의 카메라로 촬영한 저해상도의 사진을 소프트웨어적으로 업그레이드해 해상도를 크게 높일 수 있다. 카메라가 흔들리거나 물체가 움직여 발생하는 영상 흔들림(blurring) 문제도 해결해 깨끗한 영상을 복원할 수 있다.



영상 초해상도 기술은 영상의 질을 높여야 하는 곳이면 모두 사용할 수 있다. 우선 CCTV에서 멀리 떨어진 사람이나 자동차를 구별하기 힘들 때도 영상을 확대해 세밀하게 볼 수 있다. 야간에는 사람 얼굴이나 차량 번호판을 확인하기 어려운데 크게 확대하면 가능하다. 차량 블랙박스 영상의 화질도 잘 볼 수 있다. 범죄 과학수사에도 요긴해 국립과학수사연구원이나 검찰·경찰 등에서 활용할 수 있다. 이 교수는 “도로나 건물 내부 등에 CCTV가 많지만 10~20m만 떨어져도 작게 나오고 해상도도 높지 않아 확인하기 어렵다”며 “그렇다고 비싼 고해상도 카메라로 바꾸는 것도 쉽지 않은데 딥러닝 기반 알고리즘 소프트웨어를 활용하면 세밀하게 확대할 수 있다”고 설명했다. 그는 이어 “영상 용량이 커 저장할 때 크기를 줄여 압축하는데 이미 줄여놓으면 크게 볼 수 없지만 소프트웨어적으로 원본에 가깝게 복원할 수 있다”고 덧붙였다.

VDSR 시스템을 60개 이상 층으로 확장해 성능을 크게 향상시킨 초해상도 영상복원 네트워크 EDSR. /한국연구재단

초해상도 영상복원을 위해 개발된 새로운 딥러닝 인공신경망 시스템 구조. 영상복원을 위해 세계 최초로 20개 층의 매우 깊은 컨볼루션신경망(CNN)과 잔류연결(residual connection)개념을 사용한 VDSR 시스템. /한국연구재단

자기공명영상(MRI)과 컴퓨터단층촬영(CT) 등 의료용 영상에도 적용 가능해 정밀 판별을 할 수 있다. 초고화질 TV(UHD TV)의 고해상도 영상 변환이나 스마트폰 화질 개선, 반도체와 부품 결함 검사 등에도 유용하다. 위성영상에 작게 보이는 자동차도 확대할 수 있다. 이 교수는 “위성사진을 고해상도로 보려면 비싼 장비를 써야 하고 UHD TV 역시 고가의 UHD 카메라를 써야 하지만 저해상도 영상을 소프트웨어적으로 컴퓨터가 고해상도 영상으로 변환시켜 비용을 크게 줄일 수 있다”고 말했다.

4차 산업혁명의 핵심 분야로 꼽히는 드론·지능형로봇·자율주행차의 영상 분석에도 필수적인 기술로 부상할 것으로 전망된다. 물론 CCTV나 자율주행차 등 각종 카메라에 이 기술을 내장하면 소프트웨어로 구동할 수 있지만 각자 하드웨어나 칩으로 만들 수도 있다. 이 교수는 마지막으로 “알고리즘 소프트웨어를 산업적으로 각 분야에 적용하기 위해 기술이전도 활발하게 할 계획”이라며 활짝 웃었다. /고광본 선임기자 [e-mail]