엔드투엔드 인식: 대형 차량의 차로 유지 보정을 어떻게 더 정밀하게 구현할 수 있을까요?

01
시스템 개요 및 기술 배경

항만, 야드 및 산업 현장의 물류 환경에서는 대형 차량이 일반적으로 정해진 주행 경로를 따라 장거리 이동을 합니다. 차량이 횡방향으로 벗어나면 타이어의 비정상적인 마모, 차로 점유 경로의 왜곡, 충돌 위험 증가 및 운영 효율 저하 등 여러 문제가 발생할 수 있습니다. 기존의 수동 보정 방식은 운전자의 경험에 의존하기 때문에 제어 조치가 지연되고 일관성이 떨어집니다. 특히 차량이 중량 적재 상태이거나 저속 운행 중이거나 가감속이 잦은 경우, 또는 야간 작업 시에는 횡방향 편차가 더욱 두드러지게 누적됩니다. 따라서 본 시스템은 차량의 도로 또는 작업 차로에 대한 위치를 센티미터 수준의 정밀도로 지속적으로 감지하고, 이러한 편차 정보를 안정적으로 제어 시스템에 피드백해야 합니다.

따라서 편차 보정 제어 시스템의 핵심은 단지 차량의 위치를 파악하는 데 그치는 것이 아니라, 복잡한 운행 조건 하에서도 목표 궤적에 대한 차량의 횡방향 편차, 방위각 오차 및 추세 변화를 신뢰성 있게 추정하고, 이 정보를 실행 가능하며 부드럽고 마모가 적은 보정 명령으로 변환하는 데 있다.

기술 로드맵의 진화:

1.1 “하드 어시스트”에서 “비전 AI + GNSS 소프트 퓨전”으로

초기 보정 방식은 주로 GNSS 기반 보정에 의존했다. GNSS는 비교적 간편한 설치와 직관적인 좌표 산출이라는 장점을 제공하여, 개방된 공간에서의 전지구적 위치 측정 및 경로 계획에 적합하다. 그러나 실제 엔지니어링 현장에서는 갠트리 크레인들이 브리지 크레인, 공장 건물, 화물 고정 설비, 컨테이너 및 금속 구조물 등과 가까운 곳에서 운전되는 경우가 많아, 위성 신호가 차단, 다중경로 반사 및 일시적 편차 등의 영향을 쉽게 받는다. 특히 대형 차량의 이동이 수반되는 상황에서는 GNSS만으로는 장기간의 안정성을 유지하기 어렵다.

지역 정확도를 높이기 위해 업계에서는 슬라이딩 접촉선, 자기 마커, 지하 케이블 등 하드 어시스트 방식도 활용해 왔습니다. 이러한 방법들은 특정 구역 내에서 안정적인 기준점을 제공할 수 있지만, 설치 비용이 높고 공사 기간이 길며, 지반 침하나 노후화로 인한 경로 변경 등으로 인해 지속적인 유지보수가 필요합니다. 신속한 도입과 최소한의 개조 작업, 그리고 확장성까지 요구되는 스택 야드와 항만 지역에서는 이러한 솔루션들이 충분한 설계 유연성을 제공하지 못합니다.

시각적 보정의 가치는 차량의 주변 환경을 제어를 위한 직접적인 기준으로 활용하는 데에 있다. 카메라는 차선 표시, 지면 경계, 작업 구역 표지판 등과 같은 국지적 특징을 감지할 수 있다. , 이는 신호 차단 및 편차가 발생하는 환경에서 GNSS의 한계를 보완할 수 있다.

1.2  히리 중형 차량 조향 보정 제어 시스템의 핵심 및 장점

이는 항만, 야적장 및 산업용 운송 환경에 적합하도록 설계된 대형 차량용 고정밀 자동 편차 보정 시스템입니다. 비전 기반 인공지능 감지를 핵심으로 하며, GNSS 위치 정보, 차량의 운동 상태 데이터 및 지능형 제어 알고리즘을 통합하여 차량과 목표 경로 간의 공간적 관계를 실시간으로 동적으로 인식합니다. 측방 편차 및 방위 편차와 같은 주요 제어 파라미터를 지속적으로 출력합니다. 그리고 폐루프 제어를 통해 사전 정의된 궤적에 대한 차량의 자동 재추적을 달성한다.

고정된 인프라나 단일 위치 측정 방식에 의존하는 전통적인 솔루션과 달리, HIRI FUTURE는 채택합니다. “시각 인식 + GNSS 보조 + 지능형 제어” 협업형 아키텍처는 환경 인식 능력과 차량 제어 능력을 깊이 통합한다, 차량이 자신의 위치를 인지할 뿐만 아니라, 도로 경계, 주행 차로 및 계획된 경로 간의 공간적 관계를 이해할 수 있도록 하는 것. , 이를 통해 보다 정밀하고 안정적인 자동 편차 보정 제어를 달성합니다.

HIRI의 편차 보정 제어 시스템에서의 실용적 장점:

저비용 개조: 이 시스템은 슬라이딩 접촉 전선과 자기 마커를 필요로 하지 않으며, 주로 카메라, GNSS 및 탑재형 컴퓨팅 장치에 의존하여 구축됩니다. 그 결과 공사 기간이 단축되고 기존 시설에 대한 교란을 최소화할 수 있습니다.

고정밀도: 시각적 모델은 대형 차량의 고속 및 저속 주행 조건에서 모두 편차가 3cm 이내로, 보다 안정적인 차선 정보를 출력합니다.

높은 신뢰성: 비전 센서와 GNSS 간의 이중 중복성은 한 센서에 일시적인 이상이 발생하더라도 다른 센서가 신뢰할 수 있는 지원을 제공함으로써, 데이터 융합을 통해 우수한 제어 성능을 구현할 수 있도록 보장합니다.

매끄러움 제어: 200밀리초마다 작은 토크 보정을 수행하여 방향을 정밀하게 조정함으로써 전압과 전류의 출력이 더욱 매끄러워집니다.

포괄적인 시나리오: 이는 스택 야드 내에서 자율주행 및 고정 경로 순항 등 다양한 운영 시나리오를 지원하며, 향후 자율주행 기능 확장을 위한 인지 기반을 제공합니다.

02 핵심 기술 접근법: 시각적 보정을 달성하는 방법

2.1 산업의 과제: 전통적 솔루션으로는 왜 3cm를 달성하기가 그토록 어려운가?

자동화된 운송 장비의 경로 추종 과정에서 센티미터 수준의 보정 정확도를 달성하는 데 있어 핵심적인 도전 과제는, 차량과 목표 경로 간의 상대적 위치 관계를 어떻게 지속적이고 안정적으로 측정하느냐에 있다. 전통적인 GNSS 기반 보정에 RTK 보강을 결합하더라도, 복잡한 산업 환경에서는 신호 차단, 다중경로 반사, 안테나 설치 오차, 그리고 차량 자세 변화와 같은 요인들로 인해 측위 결과가 불안정하게 변동되며, 장기간에 걸쳐 안정적이고 고정밀한 출력을 유지하기가 어려워진다.

시각적 보정은 차량 앞의 도로 환경에서 차선, 경계선 및 지면 수준의 구조적 특징을 직접 활용하여 인식을 수행함으로써, 차량과 도로 간의 상대적 공간 관계를 확립하고 보다 안정적인 경로 추종 성능을 달성한다.

딥러닝 기술의 발전에 따라, HIRI의 시각 모델은 이미 강력한 특징 추출 및 환경 이해 능력을 입증하여, 다양한 조명 조건, 기상 상황 및 복잡한 배경에서도 차선 표시와 도로 경계 정보를 정확히 감지할 수 있게 합니다. 부분적으로 마모된 차선 표시, 그림자에 의한 가려짐, 지면의 얼룩 또는 반사 간섭과 같은 환경 조건에 직면하더라도, 이 모델은 여전히 학습된 전역적 의미 특징에 의존하며, 도로 구조, 경계 특성 및 차량의 주행 방향을 통합적으로 모델링함으로써, 차량의 목표 궤적에 대한 횡방향 편차와 자세 편차를 정확히 계산한다. 그리고 이 정보를 실시간으로 제어 시스템에 다시 전달합니다.

다양한 환경 조건 및 조도 수준 하에서 모델의 검출 성능.

2.2  YOLO 세그멘테이션에서 AI 엔드투엔드 모델 감지까지

복잡한 산업 환경에서 [무엇인가]를 안정적으로 달성하기 위해, 3cm 수준의 보정 정확도를 갖추기 위해서는, 이 시스템은 차선 표시의 위치를 정밀하게 검출할 뿐만 아니라, 기하학적으로 제약된 매끄럽고 안정적인 오프셋 추정치를 지속적으로 출력해야 한다. HIRI는 자사의 시각 인식 파이프라인에 ‘AI 엔드투엔드 모델 탐지’ 기술을 도입했습니다. 。

시각적 계획의 초기 단계에서는 YOLO 세그멘테이션 모델이 신속한 타당성 검증에 적합합니다. 이 모델은 차선 표시, 차로 경계, 지면 표지판 및 주행 가능 영역을 픽셀 단위로 세분화할 수 있으며, 빠른 추론 속도와 성숙한 엔지니어링 생태계를 갖추고 있어 차량 내 컴퓨팅 유닛에 쉽게 배포할 수 있습니다. 전통적인 임계값 처리나 에지 검출 방식에 비해 YOLO 세그멘테이션은 도로 구조를 보다 직접적으로 추출할 수 있지만, 차선 표시와 지면 경계의 가시성에 대한 요구 조건이 높습니다. 차선 표시가 불명확하거나 마모·파손되었거나 진흙이나 물에 덮여 있거나, 우천·안개·야간 눈부심·강한 반사 또는 그림자에 의한 음영 등으로 인해 시인성이 저하될 경우, 세그멘테이션 마스크에서 경계 점프, 국부적 누락, 오분할 등의 문제가 발생하기 쉽습니다. 따라서 세그멘테이션 결과를 제어기에서 활용 가능한 편차 값으로 변환하기 위해서는 원근 변환, 중앙선 맞춤, 측방 거리 변환, 시간 필터링과 같은 후처리 과정이 여전히 필요합니다.

▲ 차선 표시 마모—YOLO 검출 결과(부분적 가림 포함)                  

HIRI의 AI 엔드투엔드 모델 탐지 기술은 이러한 단점을 해결했습니다.

이 모델은 더 이상 중간 단계의 세그멘테이션 마스크를 출력하지 않고, 대신 입력 이미지로부터 차선 표시의 위치와 카테고리(예: 차선, 경계선, 횡단보도 표시 등)를 직접 예측하며, 이에 대한 상응하는 신뢰도 점수도 함께 산출합니다. 이러한 설계는 다음과 같은 큰 장점을 제공합니다:

더 강한 환경 내성:

훈련 단계에서 모델은 차선 표시의 마모, 부분적 가려짐, 비와 안개, 눈부심, 도로 표면의 고인 물 등 실제 환경에서 수집된 다양한 사례를 통해 충분히 학습했습니다. 국지적으로 차선이 명확하지 않은 경우에도, 전역적인 도로 구조 특성을 바탕으로 지속적이고 타당한 차선 추정 결과를 도출할 수 있습니다.

보다 간소화된 처리 파이프라인:

전통적이고 복잡한 기하학적 후처리 단계를 제거함으로써, 모델은 명확한 기하학적 의미를 갖는 차선 정보를 직접 출력하여 오차 누적과 시스템 지연을 줄입니다.

보다 안정적인 바이어스 입력:

엔드투엔드 출력은 차선 선의 위치 추정에서 시간 지터가 최소화되고, 카테고리 분류에서는 높은 정확도를 보여주어 후속 기하학적 계산 및 제어 모듈에 신뢰할 수 있는 인식 기반을 제공합니다.

▲ 차선 표시 마모 엔드투엔드 AI 탐지 성능(완전한)

2.3 기술적 분석: ‘편향의 인식’에서 ‘안정성의 제어’까지

첫 번째 단계는 시각적 획득입니다. 이 시스템은 주차문의 문다리에 이미 설치된 충돌 방지 카메라를 활용하므로, 현장 도로 및 작업 접근로의 영상을 캡처하면서도 생산 비용을 절감할 수 있습니다.
두 번째 단계는 엔드투엔드 모델 검증입니다. 이 모델은 이미지에 차선이나 표시가 존재하는지를 판별할 뿐만 아니라, 보다 안정적인 차선 위치와 차선 종류, 그리고 신뢰도 점수를 출력하여 이후의 편차 계산을 위한 기반을 제공합니다. 학습 과정에서는 다양한 조명 조건, 강우, 안개, 오염, 마모, 그림자, 가려짐 등 여러 요인을 포함한 학습 데이터를 활용함으로써 실제 운행 환경에서의 일반화 성능을 향상시킵니다. 세 번째 단계는 비전과 GNSS의 연성 융합입니다. . GNSS는 전 세계적인 위치 추정과 도로 구간 식별을 제공하며, 비전 기술은 고정밀의 근거리 편차 감지를 가능하게 한다. 이 두 가지 모달리티는 단순히 결합되는 것이 아니라, 신뢰도 수준과 현재의 환경 상태를 바탕으로 융합된다. 시각 인식이 일시적으로 방해되거나 악조건에 의해 저하될 경우, 시스템은 GNSS와 과거 궤적 데이터를 활용하여 지속적인 제어를 유지한다. 네 번째 단계는 폐루프 제어입니다. 제어기는 횡방향 편차, 방위각 오차, 차량 속도, 적재 상태 및 과거 추세 데이터를 바탕으로 보정 조향 입력을 계산하며, 횡방향 진동을 방지하기 위해 이득 제한, 필터링 및 미소토크 보정을 적용합니다. 제어 목표는 한 번의 급격한 조작으로 차량을 단번에 중앙으로 되돌리는 것이 아니라, 안전성을 확보하고 기계적 내구성을 유지하는 동시에 차량을 원하는 주행 궤적을 따라 부드럽게 복귀시키는 데 있습니다.

03
프로젝트 계획: 시스템은 어떻게 구현될 것인가?

3.1 비전 AI 구현 경로

상기 언급된 인식 연계를 구현하기 위해, HIRI 시각 보정 시스템은 엔지니어링 차원에서 다음과 같은 3단계 설계를 채택한다:

(1) 이중채널 산업용 RGB 카메라 + 차선 표시 캘리브레이션

이 시스템은 트롤리의 좌우 양측에 탑재형 산업 장비를 배치합니다. RGB 카메라는 차량의 주행 방향에 따라 전방 카메라 또는 후방 카메라 중 하나를 선택하여 계산에 활용합니다. 카메라의 시야는 차로 표시, 도로 경계, 노면 표지판 및 차량의 차로 내 상대적 위치에 맞춰 집중됩니다. 이러한 이중 카메라 구성은 전방에서의 주요 보정 기준을 제공할 뿐만 아니라 후방 시야 참조도 유지함으로써 차량의 전체 자세에 대한 각도 편차를 감지할 수 있도록 합니다. 설치 후에는 차로선 교정을 통해 기준점, 차로 폭, 픽셀 대 실제 세계 스케일과 같은 핵심 매개변수를 결정하여, 이미지상의 차로 표시 좌표를 차량의 로컬 좌표계 내 실제 편차로 변환합니다.

(2) 핵심 ROI + 엔드투엔드 차선 감지

모델 계층은 차선, 차로 경계 및 주행 가능한 구역 주변에 주요 시각적 영역을 설정합니다. YOLO 세그멘테이션 모델은 주로 차선 마스크를 출력하며, 이후 후처리 과정을 통해 중심선을 추출합니다. 그러나 이 방식은 차선의 명확성, 조명 상태 및 기상 조건에 크게 의존합니다. 반면, HIRI의 AI 기반 엔드투엔드 모델은 차선의 구조와 유형 정보를 동시에 학습하므로, 마모된 표시, 부분적 가려짐, 비나 안개, 눈부심, 고인 물 등과 같은 상황에서도 보다 연속적인 차선 결과를 제공할 수 있습니다. 이를 통해 기존의 시각적 필터링 및 병합 처리 과정을 단순화하고, 모델이 차선 데이터를 신속히 출력하도록 합니다. 또한 차선 유형을 분류하여 시작·종료 구간이나 전환 구간과 같은 특수 영역을 식별하는 데에도 도움을 줌으로써, 이러한 중요한 상황이 일반적인 편차로 오인되는 것을 방지합니다.

(3) 단기 시퀀스 안정성 + 결정론적 제어

편향 보정 제어는 단일 프레임 인식 결과에 의존하지 않으며, 대신 시각적 편차, 차량의 이동 방향, 속도 상태 및 안전 기준치를 결정론적 제어 루프에 통합합니다. 시스템은 계산된 편차의 크기에 따라 감속 또는 정지 보호를 작동시키고, 연속적인 이상 프레임을 검증함으로써 단일 프레임의 오인식이 직접적으로 의도하지 않은 정지를 유발하는 것을 방지합니다. 시각적 경로 상실이나 신뢰도가 낮은 경우에는 이를…과 결합할 수 있습니다. GPS 오프셋은 보호를 위한 중복성을 생성합니다. 최종 보정값은 PLC에 기록되어 차량이 작은 단계로 목표 차로로 복귀하도록 하며, 궁극적으로 대형 차량을 3cm 이내의 편차 허용 범위 내에 유지합니다.

3.2 제어 전략

엔드투엔드 모델은 차선 및 카테고리 출력의 안정성을 향상시키는 반면, 기하학적 계산 모듈은 차선 검출 결과를 횡방향 편차로 변환합니다. 이후 제어 모듈은 편차, 속도, 주행 방향, 그리고 전방 카메라와 후방 카메라 간의 시차를 바탕으로 보정 명령을 생성합니다. 이 과정 전반에 걸쳐 명확한 규칙 경계가 유지되며, 정상적인 보정이 가능한 상황, 감속이 필요한 상황, 그리고 정지가 요구되는 상황은 모두 결정론적 논리에 의해 규정됩니다.

제어 성능 측면에서 이 시스템은 ‘작은 단계와 신속한 보정’을 중시하며, 지속적인 이득 제한 기능을 갖추고 있습니다. 제어기는 약 200밀리초 간격으로 보정 명령을 업데이트하며, 필터링과 동적 이득 제한을 통해 진동을 억제하고 차량의 흔들림이나 기계적 충격을 유발할 수 있는 급격하고 큰 폭의 보정을 방지합니다. 또한, 중량물 적재, 저속 가감속 운행, 목표 위치 근접 상황, 또는 전방 및 후방 카메라의 오차가 서로 다른 경우 등에서는 두 카메라의 정보와 차량 상태를 통합하여 자세 보정을 더욱 정교하게 수행함으로써, 보다 부드럽고 안정적으로 제어 가능한 보정 동작을 구현합니다.