Analog/Digital signal processing
AR/MR technology based on computer vision
개요
증강현실(AR: Augmented Reality)는 실제 공간에 가상 정보를 실시간으로 증강하여 사용자가 증강된 가상 정보와 상호작용함으로써 작업 효율성을 향상시키는 기술로 로봇 비전, 원격 기술 지원, 교육 등 다양한 분야에서 활발히 적용되어지고 있다. 컴퓨터 비전 기술을 활용하여 카메라 센서 기반 3D AR 이미지를 생성하고 카메라 자세를 실시간으로 추정하여 가상 정보를 카메라 이미지 위에 정확히 투영시키는 연구를 수행하고 있다.
원격 기술 지원 시스템 로봇 비전 시스템
https://www.sodavision.com/next-generation-of-3d-robot-vision-for-flexible-automation
연구내용
AR/MR 시스템의 블록선도
- [R|t] 행렬을 정밀하게 구하기 위해서 여러 각도 및 위치에서 이미지 데이터 셋(사진)을 구축
- 구축된 이미지를 Structure from motion(SFM)과 같은 알고리즘이나 PoseNet과 같은 인공지능(AI) 학습을 통해 3D AR 데이터[X,Y,Z] 생성(Off-line)
- 실시간 카메라 자세 추정 및 정확한 위치에서 3D AR 데이터를 2D 카메라 이미지에 투영(On-line)
실험 결과
SFM를 통한 3D reconstruction 결과
