현대차 자율주행 (HDA2 / ADAS / 인공지능 / 머신러닝 / 딥러닝 / SCC-ML / 자기지도학습 / 센서퓨전 / 라벨링 / 정밀지도 / OTA / 현대모비스 / 테슬라)

>

​​​1. 현대차 자율주행 현황​- 현재 현대자동차에 적용되는 스마트 센스는 자율주행 2단계에 해당. 완전한 자율주행은 아니지만 부분적으로 운전자 감시 아래 반자율주행이 가능한 수준​- 내비게이션을 기반으로 고속도로 반자율주행을 가능하게 하는 고속도로주행지원시스템(HDA), 차로이탈방지보조(LKAS), 운전자주의경고(DAW) 등의 기술 보유​- 현대차는 고속도로주행보조(HDA) 기술을 가운데으로 부분 자율주행을 개발. 2020년 상용화를 시작하는 HDA2는 고속도로에서 3단계에 가까운 자율주행이 가능할 것으로 전망​- 2018년 2월에는 서울~평창 간 고속도로 약 190km 구간을 레벨4 수준의 자율주행으로 완주하여 기술력을 입증​

>

<출처: HMG JOURNAL>​​​​2. HDA (Highway Driving Assist, 고속도로 주행 보조)​- 현대차는 차로 유지 및 차간 거리를 제어하는 2단계 주행 편의 시스템인 HDA를 2015년부터 판매. 그리고 곧 출시할 신차에는 성능이 심히 개선된 HDA2를 탑재할 계획. HDA2는 HDA 대비 정밀도를 높이고 몇 가지 추가 기능을 지원​- 기본적으로 전방 차량과의 거리 유지 및 속도 유지, 차선 내 위치 유지, 그리고 코당신에서 속도를 줄여주는 NSCC-C 기능에 더해 맵 데이터를 기반으로 나쁘지않아들목(IC)이나쁘지않아 분기점(JC)에서도 속도를 줄여주는 기능을 추가​- 방향지시등 점등 시 차량 스스로 주변 상황을 파악해 능동적으로 차선 변경도 가능. 이는 테슬라나쁘지않아 벤츠 등 일부 자동차 제조사에서 최근 양산 차량에 적용하기 시작한 기술로 차세대 주행보조 장치의 핵심 기술​- 역시한 차선 변경 역시는 끼어들기 차량을 인식해 속도를 줄여주는 기능도 추가. 차량 전방으로 들어오는 차량에 대한 인지 속도를 높였고, 차선 변경 기능 탑재와 함께 주변 상황을 정밀하게 파악할 수 있는 기술을 적용​- 향후에는 주행 시 차량 주변의 물체를 정확히 인지하는 것을 넘어 높은 수준의 센서 퓨전 기술을 통해 앞 차는 물론 그 앞 차에 대한 인지까지 가능하도록 개선될 계획​*센서 퓨전: 다양한 센서로부터 받은 신호들을 융합​

>

<출처: Top Rider>​​​​3. 머신러닝 기반 스마트 크루즈 컨트롤 (SCC-ML)​(1) 개요- 현대차그룹은 2019년 10월 도로에서 전방 차량과 일정 간격을 유지하면서 운행하는 반자율주행 기술인 ‘스마트 크루즈 컨트롤(SCC)’의 업그레이드된 버전으로 머신러닝 기반 SCC를 유 출​- 자동차가 스스로 운전자의 성향을 분석하여 마치 사람이 운전하듯 자연스러운 스마트 크루즈 컨트롤 기술을 구현. 향후 HDA2와 접지금면 레벨 2.5 수준의 반자율주행이 가능할 전망​- 기존 SCC는 운전자가 앞차와의 거리, 제한 속도, 정도를 직접 설정해야 했으며, 조절 단계가 세밀하지 않아 일부 운전자는 사용을 꺼려 했음. 반면 SCC-ML은 운전자의 직접적인 설정 없이 차량 스스로 운전자의 주행 성향을 파악하여 자율주행에 활용​- 이를 통해 사람이 운전하듯 부드러운 운행이 가능하여 기존 SCC의 급가속 및 급제동과 같은 불편함을 제거​​​(2) 원리- SCC-ML은 머신러닝(Merchine Learning) 인공지능을 통해 운전자의 주행 성향을 분석하여 놀라운 수준으로 운전자의 주행 패턴을 재현. 기본 원리는 운전자가 1때때로 정도 운전을 하면 머신러닝을 통해 10,000개의 주행 패턴 중 가장 대등한 1개가 선택되는 방식​

>

<출처: HMG JOURNAL>​​​​- 기위서 전방 카메라자신 레이더 등 각 센서들이 운전자의 주행 정보를 수집하여 ADAS의 두뇌 격인 제어 컴퓨터로 전송. 그러면 제어 컴퓨터는 이들 정보 한가운데 운전자의 운전 성향 정보(차간 거리를 어떤 정도 유지하는지, 얼마자신 신속하게 가속하는지, 주행 환경에 얼마자신 민첩하게 반응하는지 크게 3가지)만을 추출. 그리하여 10,000개 이상의 주행 패턴 중 운전자의 운전 성향에 가장 유사한 것을 적용​- 특히 제어 컴퓨터는 여러 센서로부터 각종 정보를 받는데 신호가 다들 다르기 때문에 이를 융합하기가 쉽지 않소리. 이 때 센서 퓨전 기술을 적용하면 제어 컴퓨터가 여러 신호의 정보들을 정리하여 하자신의 인터페이스로 처리 가능​- 주행 패턴 학습에 필요한 최소 때때로은 편차가 있을 수 있지만 약 1때때로 정도. 다음에는 데이터가 누적되면서 새로운 주행 정보를 지속적으로 업데이트 하기 때문에 운전자의 요즈음 성향 반영 가능. 이전 데이터의 중요도는 점차 아침아지지만 완전히 사라지지는 않소리​- 머신러닝을 통해 기존에 정해진 10,000개의 주행 패턴 외에 새로운 주행 패턴을 만드는 것은 우선 배제. 이는 안정성이 입증된 것만을 적용하고 만에 하자신 있을 변수는 만들지 않겠다는 의미로 해석​- 그리하여 1만개의 패턴이라면 거의 모든 운전자를 만족시킬 수 있어 충분히 많은 경우의 수로 볼 수 있소리. 향후에는 안전이 검증된 패턴을 추가 개발해 클라우드를 통해 패턴 데이터를 업데이트(OTA, Over The Air) 하는 방법도 고려​- 구글 웨이모(Waymo)의 경우 알파고에 적용됐던 딥러닝 인공지능을 적용하여 레벨3 이상의 자율주행 기술을 개발. 반면 현대차 그룹은 SCC-ML에 많은 층수로 이루어진 딥러닝 신경망 대신 단층인 머신러닝 신경망을 적용​- 회사 설명에 따르면 개발 당시 딥러닝 적용도 고려했었지만, 신경망이 복잡해질수록 내용치 않게 오류가 발생할 수도 있어 안전한 방법을 선택. 그리하여 단층의 머신러닝 기술로도 운전자의 주행 성향은 충분히 구현 가능했기 때문​- 또한는 인텔 모빌아이(Mobileye)처럼 큰 알고리즘 대신 정세별로 작은 알고리즘을 여러 개 만들고, 요기서 자신온 결과값만을 다시 통합하여 대응하는 방식을 따른 것일 수도 있다

>

<출처: PAN.SPOT>​​​​4. 자기지도학습 (Self-Supervised Learning)​(1) 메커니즘 이해- 지도학습(Supervised Learning)은 학습 데이터만 가지고 유의의한 정보를 얻는 방식으로, 데이터가 많아야 규칙이 만들어지기 때문에 예측하지 일이 튀어나쁘지않아오는 현실 세계에 적용하기 위해서는 레어 케이스들까지 그 다sound은 방대한 데이터가 필요​​- 강화학습(Reinforcement Learning)은 학습 데이터 대신 보상(Reward) 함수를 활용하여 지식을 키우는 방식. 실패해도 다시 시도하면 되는 게이다 등에서는 효과가 있지만 실제 사람이 사는 세계에 적용하기엔 위 험한 방식으로 일컬어져 주로 시뮬레이션 내에서 적용. 인간은 가로수에 부딪히면 큰 사고가 난다는 것을 이해하고 있기 때문에 부딪히지 않으려 하지만, 강화학습은 수천 수만 번은 가로수와 충돌하면서 학습​- 비지도학습의 한 비법인 자기지도학습은 주어진 데이터를 바탕으로 주변 귀추과 조건까지 예측하여 인지하는 더욱더 발전된 형태의 기계학습법. 자기지도학습으로 만든 인공지능은 상식선에서 생각할 수 있는 정보까지 추측 가능. 즉 세상이 어떻게 돌아가는지 메커니즘을 이해하고 배경 지식을 쌓는다는 점이 특징​- 예를 들어 사람은 눈으로 입력 받은 연속적인 장면을 보고 이강 귀추을 예측. 손에서 공을 떨어뜨리면 현재 위치보다 아래로 향할 것이며, 공이 바닥에 닿으면 바닥보다 위로 튕겨 오를 것을 당연하게 예상​- 마찬가지로 자기지도학습이 된 신경망은 요런 메커니즘을 이해하고 있으므로 나쁘지않아중에 새로운 데이터를 넣었을 때 더 빠르고 확실하게 이를 학습하여 효율 및 성능을 향상시킴​​​(2) 학습 비법- 자기지도학습은 2018년 스토리부터 BERT와 GPT2 등 자연어 처리 분야에서 놀라운 성능을 보여왔sound. 현재는 이미지나쁘지않아 영상 처리에서도 요런 방식이 적용되기 시작​- 자연어 처리에 자기지도학습을 적용하는 비법은 간단히 설명하자면, 아래와 함게 문장에서 일부 단어를 가려놓고(마스킹, Masking) 주변 문맥을 이해해 그 단어를 예측하게 한 담 맞는지 아닌지 알려주는 방식​​E.g.)· 원문: ~~~~~~ 딥러닝은 인공지능의 한 종류. ~~~~~· 컴퓨터: ~~~~~딥러닝은 ( )의 한 종류. ~~~~~​​- 영상 인식에서 자기지도학습 훈련 비법은 먼저 이미지를 격자 모양으로 구역을 나쁘지않아누고, CNN(컨볼루션 신경망)을 통해 각 격자가 어떠한 특징이 있는지 파악​- 그런 이강 랜덤으로 격자 중 어느 한 부분을 제거하고 이를 신경망이 알맞게 채워 넣도록 함. 그 이강 채워 넣은 이미지와 실제 이미지가 어느정도나쁘지않아 대등한지 채점하는 과정을 여러 이미지들을 가지고 반복​

>

<출처: AI Dev – 인공지능 개발자 모입니다>​​- 저런 학습에는 시계열 영상 데이터가 효과적. 과거의많이 이미지들을 입력하고 신경망은 이후 이미지를 예측하는 방식. 테슬라도 정적 이미지보다 비디오 클립을 활용한 시계열 이미지들을 학습에 사용했으며, 구글은 딥러닝 연구에 사용하기 위해 유튜브로부터 35만 시각의 잘 정리된 비디오 클립 데이터 세트를 공개​- 다만 참따라서 테슬라의 경우, 이후 비디오 프레입니다 전체를 예측하기보다는 인식 대상을 박스화한 그 박스의 이동 궤적만을 예측. 경량화에 뜻가 있을 것으로 생각​​​(3) 자동화를 통한 선순환- 딥마인드의 요즘 연구 결과에 따르면, 일반 방식대로 사람이 그때그때 라벨링을 하여 데이터를 넣어 학습한 신경망보다 같은 신경망이지만 자기지도학습으로 학습한 것은 절반 가량의 라벨링 데이터만을 가지고도 더 높은 이미지 인식 성능, 즉 2배 이상의 데이터 효율을 발휘​- 심지어는 전체 데이터 세트의 5%를 넣은 일반 신경망보다 1%를 넣은 자기지도학습 신경망이 더 높은 성능을 발휘하기도 하였소음. 위에서 설명한대로 이미 배경 지식을 갖추고 있어 더 빨리 배울 수 있기 때문. 테슬라의 차량 자동 라벨링 기술도 이에 기반했기 때문에 처소음 학습을 위해 적은 양의 데이터만을 사람이 라벨링하고, 어느 정도 학습이 된 뒤에는 차량 스스로 라벨링하는 것이 가능​- 전세계에 테슬라 차량은 약 75만대가 있으며, 각 차량당 8대의 카메라가 달려 있소음. 저런 차들이 모으는 영상만 하더라도 한 달에 수천만 시각. 이는 지금까지 수작업에 의해 활용 가능하게 된 영상보다도 한층더 많은 양​- 테슬라는 준지도학습(Semi-Supervised Learning)의 하본인인 능동학습(Active Learning)을 통해 어떠한 비디오 클립이 신경망 학습에 가장 유용할 것인지 자동으로 고르고, 도조(Dojo)라는 프로그램에 의해 가속화된 자기지도학습을 통해 신경망을 훈련​- 따라서 테슬라처럼 차량이 알아서 저런 방대한 데이터를 스스로 라벨링하여 데이터를 서버로 보내고, 서버에서는 이를 가지고 다시 학습하여 인공지능의 성능을 한층더 높이는 선순환 구조는 시각 및 , 데이터 활용 등 여러 측면에 있어 매우 중요​

>

<출처: Tesla>​​​​5. 현대모비스 영상인식​- 2019년 초 현대모비스는 차량, 보행자, 도로 지형지물 등을 인식하는 글로벌 탑 수준의 딥러닝 기반 고성능 영상인식 기술을 2019년 말까지 확보하고, 이를 자율주행 지원 전방 카메라 센서에 2022년부터 본격 양산 적용할 것을 발표​- 딥러닝 기반 영상인식 기술은 자동화 기법으로 영상 데이터를 학습시킨 인공지능. 이날 간담회에서 현대모비스는 초당 조 단위 딥러닝 컴퓨팅 기술은 영상인식 데이터의 품질과 신뢰성을 큰 폭으로 향상시키고 있으며, 수작업으로 축적한 데이터의 양이 자율주행 영상인식 분야의 글로벌 경쟁력을 자결짓던 시대는 끝났다고 설명​- 자동화 기법과 수작업으로 축적한 데이터 같은 표현들로 유추해보았을 때, 현대차도 테슬라와 같은 자기지도학습 및 자동 라벨링 기술을 적용했을 수도 있다 생각되자신 아직 확인되진 않소음​- 현대모비스는 자율주행 카메라 센서에 적용되는 대부분의 소프트웨어와 하드웨어에 대한 독자 기술력을 갖추게 되어 특히, 영상인식 기술의 핵심인 객체(대상) 인식 성능을 글로벌 선도 업체와 엇거의비슷한 수준으로 구현 가능하다 설명​- 또한한 주차지원 용도로 활용되어온 써라운드 뷰 모니터(SVM)에 객체를 탐지하는 영상인식 기술을 적용하면 저속 주행 상황에서 전방뿐만 아니라 측면 충돌을 방지하기 위한 긴급제동 등 자동제어가 가능. 그리고 기위 개발 완료한 독자 레이더와도 접금시여 카메라와 레이더간 데이터 융합(센서 퓨전)을 통해 센서 성능을 높이고 자율주행 분야의 기술 경쟁력을 선도한다는 방침​​​​6. 정밀 지도​- 정밀지도는 자율주행 차량을 위한 지도로 항법지도와 ADAS 지도는 도로 단위로만 인식이 가능하지만, 정밀지도는 신호등 및 각 차선 단위까지 상세하게 표현 가능. 눈이 오거자신 안개가 짙게 끼면 카메라와 센서만으로는 주변 상황을 제대로 인지할 수 없는데, 이 때 정밀지도가 도로의 모든 상황을 알려줄 수 있다면 안전성은 크게 상승할 수 있소음​

>

<출처: HMG JOURNAL>​​- 현대엠엔소프트는 자동차 내비게이션을 위한 항법지도와 ADAS 지도에 이어 정밀지도 역시 구축 중. 자동차 위에 카메라 센서를 달고 돌아다니는 MMS(Mobile Mapping System) 차량에 정밀도가 높은 상대 위치 측정 방식의 DGPS(2개 이상의 GPS), 차량 속도와 거리를 통해 터널 안에서도 정확한 위치를 알 수 있는 관성항법장치(INS), 차량의 이동 거리를 통해 정확한 거리를 측정하는 DMI, 그리고 4개의 카메라 등을 탑재. 최근에는 드론까지 투입하여 좀 더 효율적인 방법으로 정밀지도 제작​- 이렇게 수집한 데이터를 GPS 상시 관측소 데이터와 비교하여 오차 값을 보정하고 데이터를 다루기 편하게 후처리 한 다음, MAC(Map Auto Creation) 솔루션을 적용​- 수집한 데이터는 아래와 함께 수많은 포인트 클라우드 데이터로 이루어져 있는데, MAC은 이러한 데이터를 자동으로 추출하고 분류하여 첫의 객체로 묶어내고 이것이 차선인지, 표지판인지, 횡단보도인지 등을 구분하여 인식하는 과정을 자동으로 수행하는 기술​

>

<출처: HMG JOURNAL>​​- 100km 길이의 도로에는 수많은 신호등이나쁘지않아 표지판, 차선 정보가 존재. 기존에는 요런 작은 요소들을 추출하는 데 각각의 편집 도구를 사용하고 육안으로 검증해야 해서 많은 시간이 소요. 기존에는 한 사람이 100km의 정밀지도를 만드는 데 200시간이 넘게 걸렸던 반면, 매우최근은 MAC를 통해 한 사람 당 8시간 수준으로 크게 감소​- MAC 역시 핵심은 자동 편집 툴과 인공지능 딥러닝. 수집한 영상 속 사물에 이름표를 붙인 담(라벨링) 컴퓨터가 계속 학습. 이 정보를 바탕으로 차선과 표지판을 구별하고 나쁘지않아중에는 스스로 정보를 추출. 테슬라의 자동 라벨링 기능과 유사할 것으로 추측​- 현재 30여 종이 넘는 도로 표지판을 인식하며 인식률은 98% 이상. 2019년 4월 MAC 기술을 활용하여 고속도로를 포함한 전국 자동차 전용도로 약 16,000km의 정밀지도를 구축, 이를 스트리밍 형태로 제공. 2021년 양산차 탑재 목표​- 역시 고정밀 지도 구축을 위해 레드박스(RedBox)를 개발. 도로의 차선, 시설물, 구조물을 확실하게 인식할 수 있고, 도로의 변경 여부를 실시간으로 감지. 레드박스를 통해 수집된 정보는 무선 통신(OTA)을 통해 현대엠엔소프트의 플랫폼으로 이동. 플랫폼에 전송된 데이터는 정밀지도로 제작되고 실시간으로 업데이트 되어 다시 사용자에게 하달​​​​7. Path Prediction (도로 예측)​- 아래 동영상에서 테슬라 차량은 도로가 어떻게 되어 있는지 잘 보이지 않아도 커브인지 아닌지 등을 미리 예측해서 주행​

​​- 이는 비전 데이터뿐만 아니라 저런 상황에서 실제 운전자가 운전대를 얼마나쁘지않아 트는지, 기어는 어떠한 상태인지, GPS 값은 얼마인지 등에 대한 데이터를 모아왔기 때문. 테슬라의 인공지능은 비전 데이터에 더해 저런 실제 주행 노하우을 따라 하는, 즉 둘 사이의 오차를 최소화하는 모방학습(Imitation Learning)을 통해 정확도 높은 예측 주행이 가능​- 위에서 설명한 현대차의 SCC-ML 역시한 운전자의 운전 스타일에 대한 데이터를 모아 신경망 학습을 진행하여 기이 운전자의 주행 패턴을 수준 높게 따라 할 수 있소리. 그래서 현대차도 테슬라와 마찬가지로 저런 예측 주행을 구현할 찬스이 있다 보여짐​​​​8. 현대차 딥러닝 과제​(1) 딥러닝 적용 현황- 현대차가 소견하는 자율주행을 위한 딥러닝 적용은 인지, 판단, 제어 영역. 현대차는 현재 딥러닝을 주로 자율주행의 인지 분야에 활용. 인식 기능은 기존의 서포트 머신이나쁘지않아 에이다부스트(기계학습 메타 알고리즘) 같은 기계학습 방식으로 해결해왔으나쁘지않아, 심층신경망을 적용한 딥러닝 기술을 적용하면서 성능이 비약적으로 상승​*서포트 벡터: 기계학습 중 패턴 인식, 자료 분석을 위한 지도학습 모델​​- 딥러닝은 영상에서 패턴을 분석하여 이상 징후를 사전에 감지하거나쁘지않아 주변 자동차의 움직임니다을 예측. 판단 영역에 딥러닝을 적용하면 차량의 센서에서 얻어진 정보뿐만 아니라 V2X, 정밀지도 등을 활용해 더욱 안전하고 정확한 판단을 내릴 수 있소리​- 판단이 이루어육지 그 다음은 제어 영역, 즉 판단대로 행동하는 것으로 이를 통해 비보호 좌회전이나쁘지않아 회전 교차로 진입 등 사람도 대응하기 어려운 상황에 잘 대처할 수 있을 것으로 기대​- 다만 심층신경망이 어떠한 판정을 내릴지, 어떠한 동작을 수행할지에 대해서는 인간이 그 알고리즘을 이해하거나쁘지않아 추론하기 어렵기 때문에 판단 및 제어 분야에 아직 적용하기 힘든 상황. 그러나쁘지않아 요즘 자율주행차가 지켜야 할 규칙들을 인간이 정리해놓은 마스터 시스템과 교차 검증하여 딥러닝을 제어 및 판단에도 점차 적용​*마스터 시스템: 인간이 특정 분야에 대하여 가지고 있는 전문적인 지식을 정리해 컴퓨터에 기억시키는 시스템​​- 현대차는 2015년부터 영상 인식 분야에 딥러닝을 적용하는 연구를 시작. 개발된 결과는 실제 자동차에 적용되어 테스트되고 있소리. 현재는 본격적으로 딥러닝을 적용하기 위해 차량용 임니다베디드 제어기에서 다수의 알고리즘들을 동시에 작동시키는 작업 중​​​(2) 선결 과제- 현대차가 예기하는 딥러닝 적용 선결 과제는 기이서 다양한 환경과 만일의 사태까지 대비해 정확도와 안정성을 높일 수 있도록 대규모 훈련 데이터가 있어야 하며, 저런 방대한 양의 데이터를 신속하게 처리할 수 있는 고성능 GPU 기반 하드웨어가 필요​- 두 번째는 네트워크 축소. 딥러닝 학습 연산은 대부분 소수점으로 이루어져 컴퓨터가 처리하는 속도가 더딤. 그래서 소수점 연산을 정수 연산으로 바꾸는 작업이 필요하며, 신경망에서 필요 없는 부분을 잘라내어 모델 자체를 가볍게 하는 노하우도 떠오르고 있소리​- 세 번째는 네트워크 이원화로 신경망을 큰 신경망과 작은 신경망으로 나쁘지않아누고, 많은 양의 데이터로 학습된 큰 신경망이 작은 신경망을 가르치도록 하는 것이 필요하다 설명​

>

<출처: SlideShare / 여러 컨볼루션 레이어 테크닉과 경량화 기법들>

태그: