이번 연구에서 선보인 synergestic multimodal learning 알고리즘. 한 모달리티(이미지 모달리티, 빨간색)를 학습할 때, 다른 모달리티(언어 모달리티, 회색)의 도움을 받아 학습을 진행할 시에, 두 모달리티의 정보를 모두 포함하는 학습(초록색)이 가능하다. 이를 통해, 모든 모달리티의 특성을 잘 반영하는 방향(검정색)으로 학습할 수 있다. 연구그림=UNIST