자율주행 자동차는 스스로 주변 환경을 인식하여 위험을 판단하고 주행 경로를 계획할 수 있는 안전 주행이 가능한 자동차 이다. 현재 자율주행 자동차 주변 환경을 인식하기 위하여 사용되고 있는 센서는 카메라, 레이더, 라이다 등이다. 그런데 레이더나 라이다 등은 사람의 눈이나 카메라처럼 조밀한 정보를 제공하지 못하고 듬성듬성한 정보만을 제공하기 때문에 보행자나 차량을 구분해서 인식하기 어렵고 단순히 자동차와 물체와의 거리만을 계산할 수 있다. 그리고 현재 카메라 기반의 장애물 검출 기술은 날씨가 화창한 환경에서는 보행자 및 차량을 검출할 수 있지만 눈이나 비가 내리거나 주위가 어두워지면 보행자 및 차량을 제대로 검출하지 못한다.

본 연구팀은 악천후에서도 보행자 및 차량을 제대로 인식하고 검출할 수 있는 새로운 딥러닝 (Deep Learning) 기술을 개발하였다. 이를 위해 두 대의 카메라를 이용하여 악천후에서도 물체와의 거리 및 형상정보를 제대로 얻어낼 수 있도록 하기 위하여 새로운 스테레오 매칭 기술 및 새로운 부분 정보 추출 기술을 개발하였다. 이렇게 얻어진 정보는 카메라 영상 정보와 함께 딥러닝 시스템을 학습시키기 위해 사용되었다. 

단일 카메라 영상 만을 이용하는 기존의 딥러닝 시스템과는 달리, 실제 차량에 두 대의 카메라를 설치하여 악천후 환경을 포함한 영상 학습정보를 수집하고 이를 이용하여 새롭게 설계된 딥러닝 시스템을 학습시켰다.

본 연구팀은 이러한 딥러닝 기술을 이용하여 도로 상의 보행자, 차량, 신호등, 신호 표지판 등을 실시간으로 정밀하게 인식하는 기술을 개발하여 제13회 현대자동차그룹 미래자동차 기술공모전: 자율주행자동차 경진대회 영상인식분야의 임베디드 시스템 부문 1위, PC 부문 2위를 수상하였다.

향후 미래의 자율주행 자동차에서는 차량에 장착된 여러 대의 카메라를 이용하여 차선 인식, 분기로/합류로 인식, 신호등 및 표지판 인식, 자동주차, 주변 환경 인식 등을 수행하여야 하는데 이를 위해서는 지능형 영상처리 기술이 필요하며 본 연구팀에서는 관련 연구를 지속적으로 진행할 예정이다.