얀 르쿤의 AI 안전론과 한국 피지컬 AI 전망

10월 12일 서울 웨스틴조선서울에서 열린 ‘산업 AI 글로벌 협력’ 간담회에서는 AI 경쟁이 제조·반도체·에너지 현장으로 확대되는 가운데 한국 제조업의 역할을 논의했습니다. AI 스타트업 AMI랩스의 창업자이자 회장인 얀 르쿤은 같은 날 인터뷰와 간담회에서 AI 안전 문제와 다음 기술 발전 방향에 대한 견해를 밝혔습니다. 그는 한국의 제조업 기반과 엔지니어·연구 인력을 피지컬 AI 경쟁에 참여할 강점으로 평가했습니다.

르쿤은 AI가 갑자기 인간을 뛰어넘어 인류를 지배한다는 전망에 동의하지 않았습니다. AI 발전은 여러 기술적 돌파구가 쌓이는 점진적인 과정이며, 현재 AI의 능력도 과대평가돼 있다고 주장했습니다. 최근 AI 에이전트, 즉 이용자를 대신해 작업을 수행하는 AI의 돌발행동에 대해서는 개발사의 보안 경험과 격리된 실행 환경의 설계가 부족했던 문제로 봤습니다.

그가 제시한 안전 확보 방식은 AI가 목표를 수행하더라도 정해진 행동 제약을 지키도록 설계하는 것입니다. 사람이 가까이 있으면 칼을 든 로봇이 팔을 휘두르지 못하게 하거나, 행동에 따른 비용을 고려하게 해 법적·사회적 규범을 따르게 하는 예를 들었습니다. 이는 르쿤이 제안한 통제 원리이며, 모든 AI 시스템에서 안전성이 입증됐다는 뜻으로 제시된 것은 아닙니다.

기술의 한계를 설명할 때 르쿤은 대규모언어모델인 LLM을 지목했습니다. LLM은 많은 글을 학습해 다음에 올 말을 예측하는 모델인데, 그는 수학과 코딩처럼 결과를 검증하기 쉬운 분야를 제외하면 현실 세계를 충분히 이해하지 못한다고 평가했습니다. 자율주행차가 방대한 주행 기록을 학습하고도 완전한 자율주행에 이르지 못했다는 점을 행동 결과를 예측하는 새로운 시스템이 필요한 근거로 들었습니다.

르쿤이 대안으로 제시한 세계 모델은 현재 상태에서 어떤 행동을 했을 때 환경이 어떻게 바뀔지 예측하도록 학습하는 AI입니다. 세계 모델은 목표에 필요한 행동 순서를 미리 계획할 수 있게 하는 기술이며, 르쿤은 AMI랩스에서 이를 개발하고 있다고 밝혔습니다. 현실의 사물과 환경을 인식하고 움직이는 피지컬 AI와 로봇이 다음 발전 분야라는 전망은 이런 기술 방향과 연결돼 있습니다.