기술 자료

자율주행 차량과 로봇은 한 종류의 센서로 세상을 보지 않는다.

서로 다른 원리의 센서를 겹쳐 쓰고, 그 결과를 하나로 합치는 것을 센서 융합(sensor fusion) 이라고 한다.

이 글은 왜 융합이 필요한지, 어떤 방식이 있는지, 센서를 고를 때 무엇을 봐야 하는지를 정리한다.

한 가지 센서로 부족한 이유

각 센서는 잘 보는 것과 못 보는 것이 분명하다.

• 가시광 카메라는 무엇인지(차선, 표지판, 신호등 색)를 가장 잘 알지만, 얼마나 멀리 있는지는 모르고 어둠 · 역광 · 눈부심에 약하다.
• 레이더는 거리와 속도를 정확히 재고 날씨를 거의 타지 않지만, 해상도가 낮아 물체의 형태를 모른다.
• 라이다는 주변을 정밀한 3D로 그리지만, 짙은 안개 · 비에서 성능이 떨어지고 가격이 높다.
• 열화상 카메라는 완전한 어둠과 안개 속에서도 사람과 동물을 보지만, 거리를 재지 못하고 유리를 투과하지 못한다.
• ToF 카메라는 근거리를 mm 단위로 재지만 10 m를 넘는 거리와 실외 햇빛에는 맞지 않는다.

이 목록을 보면 한 센서의 약점이 다른 센서의 강점과 겹친다는 것을 알 수 있다.

융합은 이 겹침을 이용해 어떤 조건에서도 인식이 끊기지 않게 하는 것이다.

융합이 주는 세 가지

1. 보완 — 카메라가 본 "사람"에 레이더가 잰 "거리 40 m, 접근 속도 5 km/h"를 붙이면 비로소 제동 판단이 가능해진다.
2. 중복 — 한 센서가 가려지거나 고장 나도 다른 센서가 같은 물체를 보고 있으면 시스템이 멈추지 않는다. 기능 안전(ISO 26262)에서 요구하는 것이 이것이다.
3. 확신 — 두 센서가 같은 위치에서 같은 물체를 보고하면 오탐(없는 물체를 있다고 판단) 확률이 크게 줄어, 불필요한 급제동을 피할 수 있다.

융합 방식

융합 전에 맞춰야 할 것

• 시간 동기 — 센서마다 촬영 시각이 다르면 움직이는 물체가 서로 다른 위치에 찍힌다. PTP(IEEE 1588)나 GPS PPS 같은 공통 시계로 타임스탬프를 맞춘다.
• 외부 보정(extrinsic calibration) — 각 센서가 차량의 어디에, 어느 방향으로 달려 있는지를 정확히 알아야 한 좌표계로 합칠 수 있다. 라이다-카메라 보정 도구가 널리 쓰인다.
• 데이터 인터페이스 — 이더넷(GigE), GMSL2, FPD-Link, CAN FD 등 센서마다 다른 인터페이스를 한 컴퓨터에서 받을 수 있어야 한다.

센서 구성 예

센서를 고를 때

"가장 좋은 센서"를 찾기보다 "내 환경에서 놓치면 안 되는 상황" 을 먼저 적는 것이 순서다.

야간 보행자인지, 안개 속 정지 차량인지, 검은 상자의 정확한 크기인지에 따라 답이 달라진다.

루미솔은 라이다, 레이더, ToF 카메라, 열화상 카메라를 함께 다루므로 조합 단계에서부터 상담이 가능하다.

각 센서의 사례는 적용분야에서 볼 수 있다.