전자전기공학부 박은병, 고종환 교수 연구팀, 뉴럴 네트워크와 그리드 방식의 새로운 융합 구조 개발

- 기계학습 최우수 학술대회 ICLR 2024 spotlight 선정

- 새로운 미디어 표현 방식 기대

전자전기공학부 박은병, 고종환 교수 연구팀은 뉴럴 네트워크와 전통적인 자료구조인 그리드 방식의 표현 방법을 융합하는 새로운 3차원 미디어 표현 방법론을 제안하였다.

3차원 이미지 혹은 비디오 등을 표현하는데 있어서 일반적으로 그리드에서 특징벡터를 추출한뒤 뉴럴 네트워크가 이를 처리하는 방식이 사용되는데, 본 연구에서 제안하는 방식은 뉴럴 네트워크의 각 레이어 마다 모듈레이션 방식으로 특징 벡터를 융합하였다.

▲ [그림1] 제안된 CAM 구조

연구팀이 새로 개발한 방식을 이미지, 비디오, 3차원 모델, 3차원 비디오 등 다양한 미디어 데이터에 적용한 결과 그 성능이 매우 우수하며 또한 우수한 신호 복원 능력을 보여주었다.

▲ [그림2] 다양한 미디어 도메인에서의 CAM 구조 적용 방안

▲ [그림3] 다양한 미디어 도메인에서의 성능 비교 평가

박은병 교수는 “기존의 방식에서 벗어나 두 가지 표현방법을 융합한 새로운 방법론이며, 전통적인 그리드 자료구조를 활용해 뉴럴 네트워크를 적절히 제어할 수 있는 방식으로, 최근 각광받고 있는 NeRF나 생성 모델 등에 매우 효과적으로 사용될 수 있을 것”이라고 말했다.

연구팀의 이번 연구 결과는 NeurIPS, ICML과 더불어 기계학습 분야 최우수학술대회로 꼽히는 ICLR 2024 (International Conference on Learning Representations)에 게재 승인되었다. 또한 제출된 논문의 상위 6%에 해당하는 spotlight에 선정되었다.

※ 연구 홈페이지: https://maincold2.github.io/cam/

※ 논문명: Coordinate-Aware Modulation for Neural Fields, ICLR 2024, 이주찬, 노다니엘, 남승태, 고종환*, 박은병* (* 교신저자)