출원번호 10-2021-7007900 출원일 2019년 09월 13일 출원된 테슬라, 잉크. 공개번호(일자) 10-2021-00454(2021년 04월 26일) 발명의 명칭 트레이닝 데이터를 획득하기 위한 시스템 및 방법 자율주행과 같은 애플리케이션에 사용된 딥러닝 시스템은 데이터를 수집하여 학습함으로써 개발된다. 특히 자율주행 시스템은 주어진 다양한 상황에서 대응해야 하기 때문에 수집되는 트레이닝 데이터의 품질이 곧 딥러닝 시스템의 성능을 좌우한다. 따라서 상당한 자원이 트레이닝 데이터를 수집, 전처리, 라벨링하는 데 투자되어 효과적인 시스템 개발이 필수적이다.
도 1 자율주행 자동차 시스템 테슬라에서는 본 발명을 통해 훈련 데이터를 획득하기 위한 방법 및 시스템을 개발하였다. 이는 센서를 통해 데이터를 수신하는 단계, 센서 데이터를 컨볼루션 신경망(CNN)으로 피드하는 단계, CNN의 중간 레이어 출력을 트리거 분류기에 입력하여 분류기 점수를 출력 및 트레이닝 데이터로 사용할지 판단 및 네트워크로 전송하는 단계로 구성된다.
도 2는 트레이닝 데이터의 발생을 도시하는 블록도이다. 이 도시에서 센서 데이터 108은 차량 102에 의해 수신되고 있다. 센서 데이터(108)는 주변 물체를 묘사하는 비디오나 이미지를 하나 이상 포함할 수 있다. 센서 데이터 108은 차량 102에 포함된 하나 이상의 프로세서의 딥러닝 시스템 700에 제공할 수 있다. 딥러닝 시스템(700)은 수신된 센서 데이터(108)를 분석하기 위해 CNN과 같은 예시 머신러닝 기법을 사용한다. CNN은 다수의 레이어로 구성돼 센서 데이터를 처리, 현식 세계의 객체, 시나리오, 상황을 식별할 수 있다. 딥러닝 시스템(700)은 트리거 분류기(110A-1100N)를 포함하며, 각 분류기는 최적화된 위치의 CNN 레이어에 할당되어 레이어 출력을 받아 개별 객체 또는 특징을 식별, 분류기 점수를 출력한다. 예를 들어 각 분류기는 타이어나 도로 위의 자전거 등을 식별하거나 눈 오는 날의 타이어, 특정 유형의 도로 위의 타이어, 도로 위의 평평해진 타이어 등 다양한 유형의 객체를 식별할 수도 있다.
그림 2 트레이닝 데이터를 발생시키기 위한 시스템의 일 실시예 출력한 분류기 점수는 네트워크(108)를 통해 외부 시스템(120)으로 전송되고, 외부 시스템(120)은 분류기 점수를 활용하여 해당 이미지의 트레이닝에 사용할지를 판단하여 시스템을 업데이트한다. 또한 외부 시스템(120)은 다양한 방법으로 차량 정보를 수신하고 언제 획득한 이미지를 훈련에 사용할지 판단한다. 대표적으로 차량으로부터 수신된 위치정보가 현재 차량이 터널에 위치함을 알려주면 외부시스템은 터널 출구가 곧 센서를 통해 입력될 것을 예상하여 이를 식별하는 분류기를 활성화할 것을 지시하고 해당 센서 데이터 및 분류기 점수를 수신할 수 있다. 또한 외부 시스템은 임계수 이상의 차량이 특정 위치에서 동일한 분류기에 의해 센서 데이터를 전송하는 것을 식별할 수 있다. 예를 들어 특정 위치에 도로 장애물이 있어 해당 위치를 지나는 차량에 의해 센서 데이터가 전송되고 나중에 외부 시스템은 다른 차량이 동일한 위치에 도달할 때 동일한 분류기를 실행하도록 지시할 수 있다. 마지막으로 외부 시스템은 임계수 이상의 차량이 특정 위치에서 임계점수보다 높지 않은 분류기 점수를 전송하더라도 해당 데이터를 훈련에 활용할 수 있다. 예를 들어 같은 위치에서 촬영되더라도 촬영하는 차량의 각도에 따라 해당 물체가 숨거나 잘 보이지 않을 수 있기 때문에 분류기 점수가 낮아도 많은 훈련을 거쳐 분류 성능을 높일 수 있다.
도 3은 머신러닝 모델의 중간 결과에 트리거 분류기를 적용하기 위한 프로세스의 실시 예를 나타내는 플로우 차트이다. 센서 데이터는 201에서 카메라 데이터, 초음파 데이터, LDAR 데이터 등의 형태로 수신된다. 수신된 데이터는 203에서 노이즈 제거, 데이터블라링 및 얼라인먼트 등에 대한 교정을 포함한 전처리를 거쳐 205에서 CNN 딥러닝 분석에 사용된다. CNN의 중간 출력은 207에서 트리거 분류기에서 훈련 데이터로 식별된다. 트리거 분류기에서 임계점을 넘는 분류기의 점수를 얻으면 트레이닝 데이터로 판단하고 209에서 센서 데이터와 데이터를 얻은 시각, 위치, 차량 유형, 속력, 가속도, 브레이크 등의 작동 파라미터 및 차량 컨트롤 등의 메타데이터를 네트워크로 전송한다. CNN 최종출력은 211에서 여러 CNN 출력을 맞추거나 눈에 띄는 출력을 제거하는 등의 후처리를 거친 뒤 213에서 컨트롤해야 하는 차량의 조향, 속도를 제공하는 차량으로 인가한다.
도 3 머신러닝 모델의 중간 결과에 트리거 분류기를 적용하기 위한 프로세스의 실시 예 도 4는 트리거 분류기를 사용하여 잠재적인 트레이닝 데이터를 식별하기 위한 프로세스의 실시 예를 나타내는 흐름도이다. 401에서 CNN 딥러닝 분석이 시작되고 403에서 한 레이어의 출력이 완성되면 405에서 출력이 CNN 최종 레이어의 결과인지 여부가 결정된다. 출력이 최종 레이어에서 나온 경우 407에서 차량 컨트롤에 제공되며, 그렇지 않은 경우 409에서 트리거 활성 조건 및 CNN 레이어가 트리거 분류기를 적용하기에 적절한지 결정이 이뤄진다. 활성 조건은 마지막 데이터 캡처 이후 시간 길이가 최소 시간 양을 초과했는지, 주행 시간의 최소 길이가 경과했는지, 주행 시각이 특정 범위 이내인지 여부 등을 포함한다. 각 트리거 분류기는 특정 레이어에서 고품질 분류기의 점수를 출력하기 위해 최적화된 레이어에 맞게 트리거에 입력된다. 411에서 트리거 분류기의 점수가 결정되고 413에서 분류기의 점수가 임계값을 초과하는지 및 요청된 트리거 조건이 충족되는지 여부가 결정된다. 요구되는 트리거 조건은 점수를 임계값을 초과하더라도 최근 10분 이내에 동일한 분류의 최고 점수 데이터만 선택하는 조건이 예로 사용될 수 있다. 식별된 센서 데이터는 415를 통해 메타데이터와 함께 외부 시스템(120)으로 전송된다.
DPA통신에 따르면 독일 연방하원은 내년부로 일반도로의 특정 고정구간에서 완전 자율주행 단계인 4단계 자율주행을 허용하는 도로교통관련법 개정안을 의결했다. 이에 따라 독일은 완전 자율주행차를 일반 도로에서 운행시키는 첫 나라가 될 전망이며, 후속으로 다른 유럽 국가나 미국에서 자율주행 단계를 끌어올리는 움직임은 활발해질 것으로 기대된다.
그림 4 센서 데이터를 전송하고 트리거 분류기를 사용하여 훈련 데이터를 식별하는 프로세스 실시 예
특허법인 ECM 변리사 김시우 [email protected] 02-568-2670
서울특별시 강남구 테헤란로70길 133층 1호