MS 의료 진단 AI 공개와 의사 비교 성능의 쟁점

MS AI(MAI) 보건팀은 22일(현지시간) 진단 평가 지표인 'SD벤치'와 진단 도구 'MAI-DxO'를 공개했습니다. 회사는 희귀 질환과 응급 진단 상황을 다룬 연구에서 정확도를 높이고 검사 비용을 줄였다고 설명했습니다. 연구 결과는 국제 학술지 '사이언스'에 실렸으며, MS는 미국 보스턴의 베스 이스라엘 디커니스 메디컬센터와 실제 환자를 대상으로 하는 임상 연구를 시작했습니다.

MAI-DxO는 여러 AI가 각각 진단 의견을 내고, 검사와 토론, 검증을 거쳐 최종 진단을 도출하는 방식으로 작동했습니다. MS는 단일 AI가 곧바로 답하는 방식과 달리, 이 도구가 의료진의 단계적인 진단을 돕도록 설계됐다고 설명했습니다. 이름에 들어간 'DxO'는 여러 판단 과정을 조율하는 '진단 지휘자'라는 뜻으로 사용됐습니다.

핵심 성능 수치는 미국 뉴잉글랜드의학저널(NEJM)에 실린 고난도 임상 사례 304건을 대상으로 한 평가에서 나왔습니다. MS가 발표한 AI의 진단 정확도는 83%였고, 참고 자료 없이 진단한 일반의의 정확도는 22%였습니다. '의사보다 최대 3.7배 정확하다'는 표현은 이 평가에서 나온 두 정확도를 비교한 것으로, 비교 대상은 해당 조건에 참여한 일반의였습니다.

같은 고난도 사례 평가에서도 의사가 이용할 수 있는 정보에 따라 비교 수치는 달라졌습니다. 교과서와 인터넷 검색을 활용한 의사의 정확도는 36%였으며, MS는 이 경우에도 AI의 정확도가 2.3배 이상 높았다고 밝혔습니다. 따라서 3.7배와 2.3배라는 수치를 이해하려면 의사가 참고 자료를 쓸 수 있었는지를 함께 구분해야 합니다.

미국 응급실 입원 데이터를 이용한 별도 검증에서는 AI의 정확도가 80%, 의사의 정확도가 47%였다고 MS는 발표했습니다. 이 결과는 앞서 설명한 학술지 임상 사례 평가와 대상이 달랐으며, MS가 제시한 비교 배수도 1.7배 이상으로 달랐습니다. 두 평가 모두 회사가 발표한 연구 결과로, 실제 환자를 진료하는 병원 환경에서의 적용 가능성을 확인하는 연구도 시작했습니다.

비용에 관한 발표는 진단 과정에서 불필요한 검사를 줄였다는 설명에 근거했습니다. MS는 MAI-DxO가 검사로 얻을 수 있는 진단 정보와 예상 비용을 함께 평가해, 진단 추정 비용을 기존 시스템의 절반 또는 3분의 1 수준으로 낮췄다고 밝혔습니다. 여기서 비교한 것은 진단 과정의 추정 비용이므로, 이 수치를 환자가 실제로 내는 진료비의 인하율로 해석할 근거는 제시되지 않았습니다.