기술 자료

라이다, 카메라, 레이더를 한 차량이나 로봇에 달았다고 해서 바로 함께 쓸 수 있는 것은 아니다.

각 센서가 어디에, 어느 방향으로 달려 있는지(공간 정렬)와 언제 측정했는지(시간 정렬)를 맞추지 않으면, 카메라가 본 사람과 라이다가 잰 거리가 서로 다른 위치를 가리킨다.
이 글은 센서 융합의 전제 조건인 캘리브레이션과 시간 동기를 정리한다.

내부 보정(intrinsic)과 외부 보정(extrinsic)

• 내부 보정 — 센서 하나의 자체 특성을 맞추는 것. 카메라라면 초점 거리, 광학 중심, 렌즈 왜곡 계수이고, 라이다라면 채널별 각도·거리 오프셋이다.
  라이다와 ToF 카메라는 공장에서 보정된 값을 내장하고 있어 사용자가 다시 할 일이 드물지만, 카메라는 렌즈를 바꾸거나 초점을 조정하면 다시 해야 한다.
• 외부 보정 — 센서와 센서, 또는 센서와 차체 사이의 상대 위치와 자세(6자유도: 이동 3 + 회전 3)를 구하는 것. 센서 융합에서 실제로 손이 많이 가는 부분이다.

카메라 내부 보정

체스보드나 원형 패턴을 여러 각도에서 찍어 초점 거리·주점·왜곡 계수를 구한다.
OpenCV의 보정 함수나 ROS의 camera_calibration 패키지가 표준 도구다.
광각 렌즈일수록 왜곡이 커서 보정 전후 차이가 눈에 띈다.
보정이 끝나면 영상을 펴서(undistort) 직선이 직선으로 보이게 만든 뒤 융합에 쓴다.

라이다–카메라 외부 보정

가장 흔한 조합이다. 방법은 크게 두 가지다.

1. 표적 기반 — 체스보드나 구멍 뚫린 판처럼 라이다 점군과 카메라 영상 양쪽에서 모두 찾을 수 있는 표적을 여러 위치에 놓고, 같은 점(모서리·원 중심)을 두 센서에서 대응시켜 변환을 푼다.
   정확하지만 표적과 공간이 필요하다.
2. 표적 없는 방법 — 건물 모서리, 기둥 같은 자연 특징이나 세기(intensity) 영상과 카메라 영상의 유사도를 이용한다.
   현장에서 바로 할 수 있지만 환경에 따라 정확도가 흔들린다.

결과는 4×4 변환 행렬(또는 이동 벡터 + 쿼터니언)로 저장하며, 이 값으로 라이다 점을 영상 위에 투영해 보면 물체 윤곽과 점이 맞는지로 품질을 눈으로 확인할 수 있다.
1° 회전 오차는 50 m 앞에서 약 0.9 m의 위치 차이를 만든다. 원거리 융합일수록 회전 정확도가 중요하다.

라이다–라이다, 레이더–다른 센서

라이다 여러 대는 겹치는 영역의 점군을 정합(ICP·NDT)해 상대 자세를 구한다.
레이더는 점이 성기고 형태가 없어 표적 기반 보정이 어렵고, 코너 리플렉터(전파를 강하게 되돌리는 금속 삼각 반사기)를 여러 위치에 두고 라이다·카메라에서 같은 위치를 찾는 방식이 쓰인다.

시간 동기

공간이 맞아도 시각이 다르면 움직이는 물체는 어긋난다. 시속 60 km 차량은 100 ms에 약 1.7 m를 이동한다.
시간 동기는 두 층으로 이루어진다.

• 공통 시계 — 모든 센서와 컴퓨터가 같은 시각을 쓰게 한다.
  이더넷 센서는 PTP(IEEE 1588)로 마이크로초 수준 동기가 가능하고, 라이다는 GPS PPS(1초 펄스) + NMEA 신호를 받아 시각을 맞추는 입력을 대부분 갖고 있다.
  시각 정보 없이 컴퓨터가 데이터를 받은 시각을 찍는 방식은 네트워크 지연만큼 오차가 생긴다.
• 촬영 시점 맞추기(트리거) — 시계가 같아도 센서마다 측정 시점이 다르다.
  카메라는 외부 트리거 신호로 원하는 순간에 찍게 할 수 있어, 라이다가 카메라 방향을 스캔하는 순간에 맞춰 셔터를 여는 식으로 정렬한다.
  회전형 라이다는 한 바퀴 안에서도 점마다 시각이 다르므로, 점별 타임스탬프로 차량 이동을 보정(motion compensation)한다.

보정은 한 번으로 끝나지 않는다

진동, 온도 변화, 가벼운 충격으로 센서가 미세하게 틀어지면 외부 보정값이 어긋난다. 운용 중에는 다음을 습관처럼 확인하는 것이 좋다.

• 라이다 점을 카메라 영상에 투영해 차선·기둥 윤곽과 맞는지 주기적으로 본다.
• 센서 장착 브래킷은 조정 후 고정하고, 탈착식보다 고정식을 쓴다.
• 보정값에 날짜와 조건을 함께 기록해 두고, 센서를 교체하거나 옮기면 반드시 다시 한다.

정리