본문 바로가기

딥 러닝 기반 초해상도 영상복원 기술, 서울대 연구팀이 개발

자율주행 자동차, 지능로봇 등 다양한 분야 영상분석 기대

[산업일보]
서울대학교 전기정보공학부 이경무 교수가 이달의 과학기술인상 2월 수상자로 선정됐다. 과학기술정보통신부와 한국연구재단은 이경무 교수가 해상도가 낮은 영상을 선명하게 복원할 수 있는 딥 러닝 기반의 초해상도 영상복원 기술을 개발해 컴퓨터 비전과 머신 러닝 분야에 기여한 공로를 높게 평가했다. 초해상도 영상복원은 영상처리와 컴퓨터 비전 분야에서 가장 오래되고 중요한 연구주제이다. 특히 최근에는 CCTV나 MRI와 같은 보안감시 및 의료 장비는 물론 교통, 군사, 우주 등 광범위한 분야에서 영상정보의 질을 높이기 위한 경쟁력 있는 기술 확보가 요구되고 있다.

딥 러닝 기반 초해상도 영상복원 기술, 서울대 연구팀이 개발
上)초해상도 영상복원을 위해 개발된 새로운 딥러닝 인공신경망 시스템 구조다. 영상복원을 위해 세계 최초로 20개 층의 매우 깊은 컨볼루션 신경망(CNN)과 잔류연결(residual connection) 개념을 사용한 VDSR 시스템(왼쪽), 이를 보다 개선·확장한 60개 이상의 층으로 이루어진 초해상도 영상복원 네트워크 EDSR(오른쪽)/下) 초해상도 영상복원 결과로 원래 영상을 4배 확대해 HD급 영상으로 복원한 결과 비교(왼쪽). EDSR을 얼굴영상에 8배 확대 적용한 결과(오른쪽)

흐릿한 CCTV 화면을 유심히 보던 주인공이 무언가를 발견하고 화면을 더 확대해 보라며 손짓한다. CCTV에 찍힌 범인의 얼굴이 뿌옇게 확대됐다가, 버튼을 누르는 동작 한 번에 선명해진다. <미션 임파서블> 등의 첩보 영화 속 수사 과정에서 종종 등장하는 장면이다.

예전에는 영화 속에서만 볼 수 있던 미래 기술이었지만, 실제 수사 현장에 이러한 기술을 활용할 날도 머지않았다. 이경무 교수는 영상처리와 컴퓨터 비전 분야에서 세계적으로 인정받고 있는 학자로, 그가 개발한 딥러닝 기반 초해상도 알고리즘을 적용하면 저화질 영상을 최대 8배까지 확대한 후 원본 영상에 가깝게 복원할 수 있다.

이경무 교수의 연구는 영상복원 기술 발전에 기여할 뿐만 아니라 이미지 학습을 통한 의료 진단 등 타 응용과학 분야의 딥러닝 시스템 개선에도 효과적으로 활용할 수 있을 것으로 예측된다. “인공지능 개발로 인류가 당면한 난제들을 해결할 수 있으리라 믿는다”라며 관련 연구에 매진하고 있는 그의 이야기를 들어보았다.

-. 이달의 과학기술인상 수상을 진심으로 축하드립니다. 수상 소감 부탁드립니다.
▲먼저 이렇게 훌륭한 상을 받게 돼 영광입니다. 과학기술의 성과는 많은 시간과 부단한 노력, 그리고 여러 명의 협업으로 이뤄집니다. 그동안 재미있게 같이 고민하고 땀 흘린 우리 연구실 학생들의 노력이 없었다면 달성하지 못했을 결과들입니다. 이 기쁨을 같이 고생한 학생들과 같이 나누고자 합니다.

-. 딥러닝 기반의 고해상도 영상복원 기술을 개발하시는 등 영상처리 분야에서 다양한 연구 성과를 거두셨습니다. 관련 연구를 시작하신 계기는 무엇인지요?
▲사람이 눈을 통해 사물이나 주변 환경을 인식하듯이 컴퓨터를 이용해 시각정보를 다루는 영상처리 또는 컴퓨터 비전은 인공지능에서 가장 중요한 연구 분야입니다. 최근 딥러닝의 혁신도 컴퓨터비전에서 먼저 시작됐습니다. 산업체나 연구소와 같이 일하면서 현장에서 영상의 질을 높이는 게 매우 중요한 이슈임을 깨달았습니다. 예를 들어 과학수사 증거영상에서 대상물체의 해상도를 높이거나 노이즈를 제거해 주면 얼굴이나 차량 번호판을 쉽게 식별할 수 있기 때문입니다.

-. 교수님께서는 기존 기술보다 월등히 우수한 화질 개선 알고리즘을 개발하셨는데요. 주요 연구성과 설명을 부탁드립니다.
▲세계 최초로 20개 층의 매우 깊은 컨볼루션 신경망(Convolutional Neural Network, CNN)과 잔류 연결(residual connection) 개념을 사용한 VDSR 시스템을 개발했습니다. 컨볼루션은 ‘합성곱’을 뜻하는데, 신경망의 컨볼루션 층이 깊을수록 입력영상의 넓은 맥락정보를 활용할 수 있기 때문에 더욱 의미 있고 유용한 특징들을 추출해 결과를 향상시킵니다. 또한 입력 값은 그대로 출력하고, 출력 값과 입력 값의 차이만을 학습하는 잔류 연결이라는 새로운 개념을 사용해 빠른 딥러닝 속도와 안정된 성능을 끌어냈습니다. 이후 60개 층 이상으로 확장된 EDSR과 MDSR을 통해 성능과 수행속도를 획기적으로 높였습니다. 세계 최고의 컴퓨터비전·머신러닝 학술대회 ‘CVPR 2016’에 관련 연구결과 2편을 구두 발표했고, 2017년에는 전 세계 21개 팀이 참가한 NTIRE2017 초해상도 영상복원 챌린지에서 EDSR, MDSR로 우승하는 성과를 달성해 최고 수준의 기술력을 입증했습니다.

-. 교수님께서 개발하신 초해상도 영상복원 알고리즘들은 향후 어떤 분야의 응용연구에 영향을 줄 수 있을까요? 더불어 영상처리 연구의 중요성에 대해서도 말씀해 주세요.
▲영상초해상도 기술은 매우 다양한 분야에 응용 가능합니다. 기본적으로 영상의 질을 높여야 하는 곳에 모두 사용할 수 있습니다. 예를 들면 감시카메라 및 블랙박스 영상 화질 개선, UHD TV를 위한 고해상도 영상변환, 스마트폰 화질 개선, 반도체 및 부품 결함 검사, 의료영상 개선 등에 사용되며 더 나아가 자율주행 자동차, 지능로봇, 드론, 군사, 위성영상 분석 등에 핵심적인 기술로 사용됩니다.

-. 패턴 인식 및 인공지능 분야의 유명 학술지 IEEE TPAMI 부편집장과 국제컴퓨터비전학술대회(ICCV) 2019 조직위원장으로 활동 중이신데요. 최근 발표된 딥러닝 분야 연구결과 중에서 교수님의 관심을 끄는 흥미 있는 이슈는 무엇인가요?
▲최근의 딥러닝 관련 이슈 중에서는 실제와 같은 영상을 생성해 내는 생성 모델(generative model), 인간의 도움 없이 기계가 스스로 학습하는 자기지도학습(self supervised learning) 또는 메타학습(meta learning) 등에 관심을 갖고 있습니다. 향후 인공지능의 패러다임을 바꿀 수 있는 연구주제라고 생각합니다.

-. 연구자로서, 스승으로서 평소 연구실을 운영하는 기본방침이나 철학이 있다면 들려주세요. 더불어 학생들 또는 연구실 구성원들에게 강조하는 내용도 소개해주세요.
▲저는 연구실에서 학생들이 재미있기를 바랍니다. 인공지능 분야 연구는 특히 창의성을 요구합니다. 예술에서와 마찬가지로 창의성이 높은 아이디어는 의무감이 아닌 자발적이고 열정적인 태도에서 나오고, 이러한 태도를 가지려면 본인의 연구주제에 관해 애정이 뒷받침돼야 합니다. 또한 땀과 노력을 강조합니다. 국제적인 규모의 경쟁이 매우 치열해지고 있는 상황에서 더 많은 시간을 들여 고민하고 시행착오를 겪어보아야 최고가 될 수 있다는 이야기를 종종 합니다.

-. 앞으로 교수님의 연구 분야에서 궁극적으로 도전하고 싶은 목표, 이루고 싶은 연구 성과는 무엇인가요?
▲궁극적인 연구 목표는 ‘인간을 위한 인공지능 개발’입니다. 현재 인류가 당면하고 있는 수많은 난제를 해결할 수 있으리라 기대합니다. 특히 시각 지능에 관련한 혁신적인 연구 성과를 발표하고 이를 실용화해 사회에 기여하고자 합니다.

-. 교수님께서는 어린 시절 공학자를 꿈꾸신 계기가 있으셨나요? 더불어 미래 공학자를 꿈꾸는 어린 학생들에게, 그 꿈을 이룰 수 있도록 도움 말씀 부탁드립니다.
▲어린 시절에는 로봇에 막연한 동경을 품고 있었습니다. 대학 학과도 로봇과 관련된 당시의 제어계측공학과로 지원했지요. 공학도를 꿈꾸는 학생들에게는 작은 물건이라도 직접 만들어보면서 창조하는 재미를 경험해 보라고 말하고 싶습니다. 공학만이 가지고 있는 매력이기 때문입니다. 어린 시절의 이러한 경험은 매우 큰 동기가 돼 평생을 지탱해 줄 것입니다. 또한 세계무대에서 두각을 나타내려면 탄탄한 기초 실력과 창의성을 기르는 일도 필요합니다. 학교공부와 더불어 항상 ‘왜?’라고 궁금해하는 호기심을 잃지 않기를 바랍니다.
정수희 기자 edeline@kidd.co.kr

국내외 로봇산업과, IoT, 4차 산업혁명 등 다양한 산업동향과 참 소리를 전합니다. 또한 산업전시회 등의 분야와 함께 ‘영상 뉴스’ 등의 콘텐츠로 독자 여러분을 찾아뵙겠습니다.

이 기자의 다른기사 보기 >

주소 : 08217 서울시 구로구 경인로 53길 15, 업무A동 7층 | TEL : 1588-0914 | 정기간행등록번호 서울 아 00317 | 등록일자 2007년 1월29일

발행인 · 편집인 : 김영환 | 사업자번호 : 113-81-39299 | 통신판매 : 서울 구로-1499

대통령표창

산업일보의 사전동의 없이 뉴스 및 컨텐츠를 무단 사용할 경우 저작권법과 관련 법적 제재를 받을 수 있습니다. COPYRIGHT© SINCE 1991 DAARA ALL RIGHT RESERVED

대통령표창

산업일보의 사전동의 없이 뉴스 및 컨텐츠를 무단 사용할 경우 저작권법과 관련 법적 제재를 받을 수 있습니다.

COPYRIGHT© SINCE 1991 DAARA ALL RIGHT RESERVED