AI 연구개발 자동화와 통제 상실 위험 경고

무슨 일인가

주요 AI 연구자 22명은 영국 케임브리지대 AI 과학·정책 프로그램(CASP)을 통해 공동 논문을 발표했습니다. 논문은 AI가 인공지능 연구개발을 맡는 비중이 커질 때 수년 걸릴 기술 진보가 수개월로 줄어드는 ‘지능 폭발’이 일어날 수 있는지 검토했습니다.

참여자에는 제프리 힌턴 토론토대 명예교수, 요슈아 벤지오 몬트리올대 교수와 야쿠프 파호츠키 오픈AI 수석과학자, 잭 클라크 앤트로픽 공동창업자, 에릭 호비츠 마이크로소프트 최고과학책임자, 던 송 메타 AI 연구 담당 부사장 등이 포함됐습니다. 연구자들은 거대 기술기업에서 AI 모델 개발 작업을 AI에 맡기는 자동화가 빠르게 진행된다고 주장했습니다.

논문은 기술 가속이 혁신이나 신약 발견을 앞당길 수 있지만 사회의 적응 능력을 넘어설 위험도 있다고 봤습니다. 연구자들은 통제를 잃는 최악의 경우 인류가 소외되거나 멸망할 수 있다고 경고했습니다. 이들은 정부에 자동화 지표 보고를 의무화하고 기업에 상주 감시관을 두며, 안전 기준에 따라 연구개발 작업을 줄이거나 멈출 장치를 마련하라고 제안했습니다.

배경과 경위

앤트로픽 사례로 연구자들은 개발진이 승인한 코드 가운데 AI가 작성한 비율이 2025년 1월 한 자릿수에서 2026년 5월 80% 이상으로 증가했다고 제시했습니다. 사람은 감독만 하고 AI가 자율적으로 끝낸 연구개발 작업의 비율도 2026년 3월 1%에서 8월 26%로 늘었다고 전했습니다.

연구진은 이런 흐름이 이어지면 수개월짜리 복잡한 AI 연구개발 프로젝트가 2년 안에 완전히 자동화될 수 있다고 전망했습니다. AI가 자기 성능을 개선하고 그 개선된 AI가 다시 다음 개선을 수행하는 재귀적 자기개선이 이어지면 발전 속도가 더 가팔라질 수 있다는 설명입니다.

누가 무엇을 주장하나

AI 연구자 22명(CASP 공동 논문 참여자)

연구개발 자동화가 지능 폭발을 촉발할 수 있으며, 통제 상실은 인류의 소외나 멸망으로 이어질 수 있다고 경고했습니다. 정부의 자동화 지표 보고 의무화와 기업 상주 감시, 안전 기준에 따른 작업량 조절·중단 장치 및 비상 대응 계획을 제안했습니다.

던 송(메타 AI 연구 담당 부사장)

AI 에이전트의 작업을 감시할 때 AI의 도움이 필요해졌고 인간만으로는 감독이 부족하다고 말했습니다. 급격한 변화와 혼란에 사회가 대비되지 않았다고 주장했습니다.

확인된 사실과 엇갈리는 주장

용어 풀이

지능 폭발

AI가 연구개발을 자동화해 기술 발전이 매우 빠르게 가속되는 상황을 가리킵니다.

재귀적 자기개선(RSI)

AI가 자기 성능을 개선하고, 개선된 AI가 다시 다음 개선을 수행하는 과정입니다.

AI 에이전트

정해진 목표에 따라 여러 작업을 수행하는 AI 시스템을 뜻합니다.

CASP

케임브리지대 AI 과학·정책 프로그램으로, 공동 논문이 발표된 프로그램입니다.

앞으로 확인할 것

• 연구자들이 제안한 자동화 지표 보고 의무화와 상주 감시를 각국 정부가 채택할지는 기사에서 정해진 일정이 제시되지 않았습니다.
• 안전 기준과 기준 미충족 시 연구개발 작업을 조절하거나 멈추는 장치를 구체화할 주체와 일정은 제시되지 않았습니다.
• 급격한 노동시장 변화와 지정학적 불안정에 대비한 비상 대응 계획을 누가 언제 마련할지는 기사에서 제시되지 않았습니다.

갱신 기록

1. 2026년 9월 29일리포트를 처음 작성했습니다. (기사 3건, 매체 3곳 기준)