AI 환각, 최고 모델도 피할 수 없다

· by ·
AI 환각, 최고 모델도 피할 수 없다

대규모 언어 모델이 문서를 보여주고 질문을 던졌을 때 없는 사실을 만들어내는 비율이 얼마인지를 측정한 논문이 올해 3월 발표됐다. 미국 AI 스타트업 카미와자(Kamiwaza)의 연구진이 1,720억 토큰, 즉 영문 단어 약 1,300억 개 분량의 실험 데이터를 토대로 내린 결론은 단호하다. 환각을 완전히 없앤 모델은 단 하나도 없었다. 환각이란 AI가 근거 없이 그럴듯한 답을 지어내는 현상이다.

 

연구진은 RIKER라는 방법론을 적용했다. 먼저 정답을 데이터베이스에 확정해 넣고, 그 정답을 기반으로 문서와 질문을 자동 생성한다. 무엇이 사실이고 무엇이 거짓인지 처음부터 정해 놓은 뒤 모델을 시험하는 방식이다. 특히 실제로 존재하지 않는 항목에 대해 질문을 던져 AI가 답을 꾸며내는지를 직접 측정했다.

 

가장 성능이 좋은 모델인 GLM 4.5도 짧은 문서 구간에서 1.19%의 날조율을 기록했다. 100번 중 한두 번은 없는 사실을 만들어낸다는 뜻이다. 상위권 모델군의 날조율은 5~7%이며, 전체 모델의 중간값은 약 25%다. 네 번 중 한 번꼴로 없는 답을 지어낸다는 이야기다. 문서의 길이가 길어질수록 상황은 급격히 나빠진다. 짧은 문서에서 날조율 10% 미만을 유지하던 모델도 가장 긴 문서에서는 전부 10%를 넘어섰고, GLM 4.6은 7%에서 71.62%까지 치솟았다.

 

이 연구에서 유독 눈에 띄는 발견은 문서에서 사실을 제대로 찾아내는 능력과 없는 사실을 지어내지 않는 능력이 별개라는 점이다. Llama 3.1 70B는 문서 내 정보 추출 정확도가 90%에 달했지만, 존재하지 않는 항목에 대한 질문에는 절반 가까이 답을 지어냈다. 반면 GLM 4.5는 추출 정확도와 날조율 모두에서 상위권을 유지했다. 문서에서 잘 찾아낸다고 해서 없는 것을 꾸며내지 않는다는 보장이 없는 셈이다. 연구진은 날조 억제 능력이 모델 크기보다 훈련 방식에 따라 결정되는 별도의 능력이라고 분석했다.

 

AI 응답의 일관성을 높이려 온도 설정을 0으로 낮추는 관행도 재검토가 필요하다. 실험 결과 온도 0이 전체 정확도를 가장 높이는 경우는 60%에 불과했고, 더 심각한 문제는 긴 문서에서 무한 반복 생성 오류를 폭발적으로 늘렸다는 점이다. GLM 4.7은 온도를 0으로 낮추자 오류율이 온도 1.0 대비 48배로 뛰었다.. 하루 1만 건의 질의를 처리하는 기업 환경이라면, 무시해도 될 것 같은 낮은 오류율조차 영업시간 내 수백 건의 실패로 이어진다고 연구진은 경고했다.

 

이 논문의 경고가 공허하게 들리지 않는 이유는 현실 사례들이 이미 존재하기 때문이다. 2023년 미국에서는 변호사 두 명이 AI가 생성한 법률 문서를 그대로 법원에 제출했다가 제재를 받았다. 문서 안에 존재하지 않는 판례가 여섯 건이나 인용됐기 때문이다. 항공사 에어캐나다는 챗봇이 환불 정책을 잘못 안내했다는 이유로 법원에서 배상 판결을 받았다. 더 넓은 규모의 피해는 정부 시스템에서 나타났다. 네덜란드에서는 세금 당국이 사용하던 AI 기반 복지 부정 수급 탐지 시스템이 2만 6천여 가구를 잘못 지목했다. 이민자와 이중 국적자가 주요 타깃이 됐고, 피해 가구 중에는 파산에 내몰린 경우도 있었고, 사태는 결국 내각 총사퇴라는 정치적 파장으로 이어졌다.

 

연구진이 제시하는 처방은 분명하다. 최상위와 최하위 모델 사이의 정확도 격차가 72%포인트에 달하는 만큼, 모델 선택이 가장 중요한 결정이다. 어떤 온도 조정이나 하드웨어 최적화도 이 격차를 메울 수 없다. 아울러 실제 운영 환경에서 쓸 문서 분량과 동일한 길이로 반드시 사전 평가를 해야 한다. 짧은 문서에서 측정한 수치를 긴 문서 환경에 적용하면 현장에서 전혀 다른 결과를 마주한다. 논문이 포함하지 않은 GPT-4나 클로드 같은 유료 API 모델의 환각률이 공개 모델과 어떻게 다른지는 아직 별도로 검증되지 않았다.

 

 

 

 

Source :
Arxiv

Share this post

Recommended for You