카메라 기반 피지컬 AI: 테슬라가 LiDAR 대신 '비전(Vision) AI'를 고집하는 이유
카메라 기반 피지컬 AI: 테슬라가 LiDAR 대신 '비전(Vision) AI'를 고집하는 이유
자율주행 기술을 이야기할 때 가장 뜨거운 논쟁거리는 바로 "카메라만으로 안전한 자율주행이 가능한가?"라는 질문입니다. 구글의 웨이모(Waymo)를 비롯한 대다수 자율주행 기업들은 LiDAR(라이다), 레이더, 카메라를 모두 버무리는 '센서 융합(Sensor Fusion)' 방식을 채택하고 있습니다. 반면, 테슬라(Tesla)는 완전히 다른 길을 걷고 있습니다. 차량이 인간처럼 오직 '시각 정보'만으로 도로를 이해하고 판단해야 한다는 '테슬라 비전(Tesla Vision)' 철학을 고수하고 있기 때문입니다.
하지만 이 여정은 결코 순탄하지 않았습니다. 하드웨어에서 레이더를 뺐다가 다시 포함시키고, 결국 소프트웨어적으로는 다시 배제하는 등 기술적 과도기를 거쳐왔습니다. 테슬라가 왜 이토록 비전 AI에 집착하는지, 기술적 한계는 어떻게 극복하고 있는지, 그리고 모빌아이나 웨이모 등 경쟁사들과의 기술적 차별점은 무엇인지 깊이 있게 분석해 보겠습니다.
1. 비전(Vision) AI란 무엇인가?
비전 AI(Computer Vision AI)는 카메라 렌즈를 통해 들어오는 2D 영상 신호를 인공지능이 분석하여, 3D 공간 정보와 객체의 의미를 실시간으로 인지하는 기술입니다.
인간이 두 눈(Stereo Vision)으로 도로 상황을 보고, 뇌에서 시각 정보를 처리해 운전하는 것과 유사한 메커니즘입니다. 최근의 비전 AI는 딥러닝과 신경망(Neural Network) 기술의 비약적인 발전 덕분에, 카메라 프레임 간의 시차와 흐름을 계산하여 물체와의 거리, 속도, 심지어 보이지 않는 사물의 영역까지 예측하는 수준에 도달했습니다.
2. 테슬라가 고비용 LiDAR와 레이더를 배제하는 진짜 이유
일론 머스크는 "인간도 눈으로 운전하는데, 자동차라고 그러지 못할 이유가 없다"고 주장합니다.
하지만 여기에는 철저한 비즈니스적 계산과 AI 아키텍처 관점의 전략이 숨어 있습니다.
① 극단적인 하드웨어 비용 절감과 양산성
LiDAR는 초당 수백만 개의 레이저 빔을 쏘아 정밀한 3D 점군(Point Cloud) 데이터를 만듭니다. 기술적으로는 훌륭하지만 장비 자체가 고가이며, 차량 외부 디자인을 해치고 센서가 노출되어 내구성 이슈가 발생하기 쉽습니다. 반면 카메라는 가격이 매우 저렴하고 대량 생산 및 차량 매립이 쉬워 압도적인 단가 우위를 점할 수 있습니다.
② 데이터 플라이휠(Data Flywheel) 효과
자율주행 AI를 학습시키려면 엄청난 양의 데이터가 필요합니다. 테슬라는 전 세계 도로를 달리는 수백만 대의 차량으로부터 매일 상상 초월의 시각 주행 데이터를 수집합니다. 센서 구성을 카메라 위주로 단순화했기에, 이 방대한 차량들로부터 균일한 고품질 시각 데이터를 수집하여 신경망을 빠르게 고도화할 수 있었습니다.
③ 센서 간 '인지 충돌(Sensor Discrepancy)' 방지
레이더와 카메라는 세상을 인식하는 방식이 다릅니다. 정지된 표지판이나 육교처럼 도플러 주파수 변화가 없는 물체, 단면적이 얇은 물체, 반사율이 낮은 물체는 레이더가 제대로 구분하지 못하는 경우가 있어, 실제로 과거 '팬텀 브레이킹(Phantom Braking, 유령 제동)' 현상의 주요 원인으로 지목되어 왔습니다.
테슬라는 "두 센서의 의견이 충돌할 때, 하나의 센서(카메라)에 지능을 극한으로 끌어올려 판단을 일원화하는 것이 더 안전하다"고 판단한 것입니다. 일론 머스크는 2025년 8월 자신의 SNS를 통해 "라이다와 레이더는 센서 경합(sensor contention) 때문에 오히려 안전을 낮춘다. 라이다·레이더가 카메라와 의견이 다르면 어느 쪽을 믿어야 하나. 이런 센서 모호성이 위험을 줄이는 게 아니라 늘린다"는 취지로 이 철학을 재차 강조한 바 있습니다.
3. 테슬라와 레이더의 히스토리: 줬다 빼앗는 기술 과도기
테슬라의 '레이더 제거 역사'는 기술적 성숙도에 따라 유연하게 요동쳤습니다.
[2016년] 레이더+카메라 조합으로 오토파일럿 개발 시작
▼
[2021년] 모델 3 / Y에서 레이더 완전 제거, '테슬라 비전' 선언 (HW3 기반). 2022년 모델S·X도 뒤따름
▼
[2023년] HW4(Hardware 4) 발표와 함께 고해상도 '피닉스(Phoenix)' 레이더 물리 탑재 확인 (모델S·X 우선)
▼
[현재] 레이더 하드웨어는 일부 차량에 남아 있지만, FSD(Full Self Driving) 소프트웨어에서는 활성화되지 않은 채 데이터 수집·검증용으로만 사용 -> '엔드투엔드(End-to-End) 신경망' 도입으로 8개 카메라만으로 주행하는 순수 비전 체계가 정착
- HW4 레이더 복귀의 진실: 2023년 테슬라가 HW4를 발표하며 고해상도 레이더를 다시 장착했을 때, 시장은 "테슬라가 비전 온리 전략 실패를 자인했다"고 평가했습니다. 하지만 테슬라는 이 레이더를 FSD(Full Self Driving) 판단에 실제로 사용하지 않았습니다. 즉 안전마진 확보나 성능 검증용 데이터 수집에 가까웠던 것으로 풀이됩니다.
- 현재의 결론: 테슬라는 최신 FSD(Full Self-Driving) 소프트웨어 버전에서 고밀도 신경망인 엔드투엔드(End-to-End) AI를 구현하는 데 성공하면서, 레이더 하드웨어가 있더라도 이를 거치지 않고 오직 8개의 카메라 센서 데이터만으로 주행하는 시스템을 고착화했습니다. 다만 차세대 하드웨어인 HW5(AI5)는 2026년 중반 현재까지도 양산 차량에는 탑재되지 않았고, 테슬라는 오히려 "AI4(HW4)만으로도 충분하다"며 AI5를 로봇(옵티머스)과 데이터센터에 먼저 투입하겠다고 밝힌 상태입니다. 따라서 현재 판매 차량의 주력 하드웨어는 여전히 HW4 계열입니다.
4. 카메라만으로 어떻게 거리를 정밀하게 측정할까?
카메라는 본질적으로 2차원(2D) 이미지 정보만 받아들입니다.
이를 3차원 공간 정보로 변환하기 위해 다음과 같은 컴퓨터 비전 기술이 활용됩니다.
- 카메라 기반 깊이 추정(단안·스테레오 깊이 추정): 카메라 영상을 신경망에 통과시켜 각 픽셀의 깊이(Depth) 정보를 추출하고, 이를 3D 공간 정보로 재구성하는 접근입니다. 학계에서는 이를 라이다 데이터와 유사한 점군으로 변환한다는 뜻에서 '의사 라이다(Pseudo-LiDAR)'라고 부르기도 하며, 2019년 코넬대 연구진이 이 개념으로 카메라만으로도 라이다에 근접하는 3D 인식이 가능함을 보여 테슬라식 비전 온리 접근을 뒷받침하는 근거로 자주 인용됩니다. 다만 이는 테슬라의 공식 브랜드 기술명은 아니며, 테슬라가 실제로 명명해 사용하는 기술은 아래의 점유 네트워크·벡터 공간입니다.
- 점유 네트워크 (Occupancy Network): 차량 주변의 공간을 보이지 않는 작은 3D 블록(Voxel, 복셀)들로 쪼갠 뒤, 어떤 블록에 물체가 '점유(Occupied)'되어 있는지를 실시간 시각 데이터로 확률 계산하는 신경망입니다. 이를 통해 처음 보는 기괴한 모양의 장애물도 충돌 위험 지역으로 정확히 인지합니다. 테슬라는 모든 카메라의 입력을 통합하는 '버드아이뷰 신경망'을 통해 도로 레이아웃과 3D 객체를 상방(top-down) 시점에서 직접 산출한다고 공식적으로 설명합니다.
- 광학 흐름 (Optical Flow): 시간이 지남에 따라 이미지 속 픽셀들이 움직이는 벡터를 추적하여 주변 객체의 속도와 이동 방향을 정밀하게 연산해 냅니다.
5. 비전 AI (카메라) vs LiDAR 성능 비교
| 구분 | 비전 AI (카메라) | LiDAR (라이다) |
| 색상 및 텍스처 인식 |
매우 우수 (신호등, 차선, 표지판 등 완벽 식별) |
불가능 (색상 정보 없음) |
| 거리 측정 방식 |
AI 알고리즘을 통한 공간 및 깊이 추정 | 레이저 비행 시간(ToF) 측정을 통한 직접 측정 |
| 3D 공간 재구성 |
신경망 알고리즘(Occupancy)으로 정밀 추정 | 물리적 포인트 클라우드로 즉각적인 재구성 |
| 시스템 비용 |
상대적으로 저렴함 | 상대적으로 높음 |
| 악천후 극복 능력 |
눈, 비, 안개, 역광 시 렌즈 가려짐 등으로 인지 저하 가능 |
비·안개에 레이저 산란 위험이 있으나 야간·역광 영향은 적음 |
6. 경쟁사들의 대안: '센서 융합' vs '트루 리던던시'
테슬라의 비전 온리 노선에 맞서, 다른 글로벌 자율주행 선두 주자들은 크게 두 가지 다른 안전장치를 마련하고 있습니다.
① 웨이모·바이두: 전형적인 센서 융합 (Sensor Fusion)
방식: 카메라, 레이더, LiDAR의 강점을 하나의 시스템 안에서 통합하는 아키텍처입니다.
특징: 카메라가 역광으로 눈이 멀어도 LiDAR가 전방의 물체를 감지하고 있고, 레이더가 악천후 속에서도 굳건히 거리를 재고 있으므로 시스템의 안정성과 신뢰성이 극도로 높습니다. 주로 고가의 로보택시(Robotaxi) 서비스에 쓰입니다.
② 모빌아이: 트루 리던던시 (True Redundancy)
방식: 모빌아이는 센서 데이터를 처음부터 섞지 않습니다. [카메라 전용 서브시스템]과 [라이다+레이더 전용 서브시스템]이라는 독립적인 두 개의 뇌(Brain)를 병렬로 구축해, 각 채널이 주행 환경 전체를 따로 인식하고 서로의 백업 역할을 하도록 설계했습니다.
특징: 하나의 시스템이 완전히 마비되거나 에러를 일으켜도, 다른 백업 시스템이 독립적으로 100% 작동하여 차를 안전하게 제어합니다. 이 완전한 이중 구조는 로보택시·완전 무인주행용 솔루션인 모빌아이 드라이브(Drive)와 손을 뗀 채 눈만 도로에 두는 쇼퍼(Chauffeur)에 적용됩니다. 반면 양산형 ADAS인 모빌아이 슈퍼비전(SuperVision)은 이 트루 리던던시 R&D에서 파생된 '카메라 전용 서브시스템' 기술을 가져와 만든 카메라 중심 제품으로, 독립된 레이더·LiDAR 백업 채널까지는 포함하지 않습니다.
7. 피지컬 AI(Physical AI) 시대, 비전 기술이 가지는 궁극적 의미
비전 AI의 발전은 자율주행 차에만 머물지 않습니다.
현실 공간을 감각하고 물리적으로 상호작용하는 '피지컬 AI(Physical AI)'의 핵심 감각 기관으로 진화하고 있습니다.
휴머노이드 로봇(Humanoid Robot): 테슬라의 '옵티머스(Optimus)' 역시 FSD(Full Self Driving)와 유사한 계열의 엔드투엔드 신경망 아키텍처와 자율주행에 쓰이는 FSD 칩 기반 하드웨어를 공유하며, 카메라 영상 입력만으로 판단·동작하는 방식을 지향합니다.
다만 카메라 개수(옵티머스 약 5~6개 vs 차량 8개)는 서로 다르며, 완전히 동일한 신경망은 아니고 같은 기술 계보를 공유하는 구조입니다.
물류 및 서비스 로봇: 고가의 라이다 센서 없이 카메라 몇 개만으로 창고 내 장애물을 회피하고 정확한 타깃 위치를 찾는 저비용 고효율 물류 로봇 설계가 확산되고 있습니다.
마무리
테슬라가 카메라 중심의 비전 AI를 고집하는 것은 단순한 고집이 아닌, 소프트웨어와 신경망 코딩의 힘으로 물리적 센서 한계를 뛰어넘겠다는 기술적 집념의 산물입니다. 비록 과거에 레이더 탑재 여부를 두고 몇 차례 정책 조율을 거쳤으나, 현재 테슬라는 HW4 세대 위에서 완전한 '비전 온리' 및 '엔드투엔드(End-to-End) AI' 방향으로 쐐기를 박았습니다.
반면, 극한의 안전을 추구하는 웨이모의 '센서 융합'과 모빌아이의 '트루 리던던시' 역시 자율주행의 또 다른 정답을 제시하고 있습니다. 피지컬 AI와 모빌리티의 미래를 바꿀 이 센서 전쟁에서 최종 승자는 누가 될지, 아니면 두 진영이 각자의 영역에서 상호 보완하며 발전해 나갈지 귀추가 주목됩니다.