AI 답변에 출처 링크가 붙으면 우리는 안심한다. 문장 아래 논문 제목과 학술지 이름이 보이면, 답을 검증했다기보다 이미 검증된 답을 받은 듯 느끼기 쉽다. 그러나 최근 연구는 출처가 정확도를 높이는 장치인 동시에, 틀린 조언을 더 믿게 만드는 권위의 장식이 될 수도 있음을 보여준다.
출처가 붙은 AI는 실제로 더 정확했지만
2026년 8월 1일 공개된 프리프린트에서 연구진은 피부과 진료 의사결정을 돕는 검색증강생성 시스템 ‘CORA’를 시험했다. 검색증강생성(RAG)이란 AI가 답을 만들기 전에 외부 문서를 검색하고 관련 근거를 함께 제시하는 방식이다. 21개국의 의사 46명이 참여해 총 736회의 판단을 내렸고, 도움 없이 답했을 때 평균 정확도는 70.8%였다. CORA의 답과 인용 근거를 본 뒤에는 82.6%로 높아졌다. 출처가 단순한 장식만은 아니었다는 뜻이다.
하지만 같은 실험에서 더 불편한 결과가 나왔다. AI의 정답에 근거가 충분하다고 느낀 의사가 그 조언을 받아들인 비율은 34.0%에서 76.9%로 상승했다. 문제는 AI가 틀렸을 때였다. 틀린 답인데도 인용문이 이를 지지하는 것처럼 보이면, 의사가 그 조언을 거부한 비율은 92.0%에서 34.8%로 떨어졌다. 출처는 올바른 조언의 수용을 도왔지만, 잘못된 조언에 대한 저항도 함께 약화시켰다.
링크의 존재와 근거의 타당성은 다르다
우리가 확인해야 할 것은 링크가 있느냐가 아니다. 첫째, 그 문서가 실제로 존재하는가. 둘째, 링크된 원문이 AI의 핵심 주장을 정말 뒷받침하는가. 셋째, 연구 대상과 시점, 비교조건이 지금의 질문과 맞는가. 넷째, 반대되는 근거나 더 최신 자료는 없는가. 실재하는 논문도 문맥을 벗어나 인용되면 잘못된 근거가 된다.
이 현상은 ‘자동화 편향’과 연결된다. 자동화 편향은 사람이 자동화 시스템의 권고를 자신의 판단보다 과도하게 우선하는 경향이다. 2025년 AI & Society에 게재된 검토 논문은 35개의 동료평가 연구를 분석해, 설명이나 투명성이 언제나 과신을 줄이지는 않는다고 정리했다. 설명이 지나치게 복잡해 검증 비용을 높이거나, 반대로 너무 매끄러워 신뢰감만 키우면 오히려 잘못된 의존을 강화할 수 있다.
더 넓은 결과도 비슷한 방향을 가리킨다. 2024년 Nature Human Behaviour의 사전등록 메타분석은 106개 실험과 370개 효과크기를 종합했다. 평균적으로 인간과 AI의 조합은 인간 혼자보다 나았지만, 인간 또는 AI 중 더 잘한 쪽과 비교하면 오히려 낮았다. 특히 결정을 내리는 과제에서 손실이 나타났다. ‘사람이 마지막에 확인했다’는 절차만으로 인간–AI 협업의 품질이 보장되지는 않는다는 뜻이다.
AI 답변을 검증하는 네 번의 멈춤
1. 답을 보기 전에 내 판단을 먼저 기록한다
중요한 결정이라면 AI를 열기 전에 잠정 결론과 불확실한 지점을 짧게 적는다. 그래야 AI의 유창한 문장에 처음 판단이 조용히 덮이는 것을 줄일 수 있다. 전문지식이 부족하다면 결론 대신 ‘무엇을 확인해야 하는가’를 먼저 적어도 좋다.
2. 핵심 주장과 출처를 한 줄씩 연결한다
답변 전체를 통째로 믿거나 버리지 말고 날짜·수치·인과관계·직접인용을 분리한다. 각 주장 옆에 실제로 이를 지지하는 원문 문장이나 표가 있는지 표시한다. DOI나 기관명만 확인하는 것은 충분하지 않다. 기존의 생성형 AI 안전 사용 점검표에서 강조했듯, AI는 원자료를 대신하는 출처가 아니다.
3. 범위와 불확실성을 확인한다
표본 수, 연구 분야, 조사 시점, 신뢰구간, 동료평가 여부를 본다. 예컨대 CORA 연구의 70.8%와 82.6%는 모든 의사의 일반적 능력이나 모든 AI 의료도구의 성능이 아니다. 특정 시스템·문항·참가자 조건에서 나온 평균이다. 수치를 옮길 때는 숫자만이 아니라 그 숫자가 성립한 조건도 함께 옮겨야 한다.
4. 반대 근거와 책임자를 남긴다
AI에게 반론을 생성하게 하는 것만으로는 독립 검증이 되지 않는다. 다른 검색경로에서 반대 결과를 찾고, 고위험 결정은 담당 전문가나 공식기관에 확인해야 한다. 조직이라면 누가 원문을 확인했고 누가 최종 결정을 승인했는지 기록한다. AI Future Weekly #006에서 다룬 ‘멈춤 권한’은 답변 생성 이후의 인간 판단에도 필요하다.
출처는 신뢰의 결론이 아니라 검증의 입구다
미국 국립표준기술연구소(NIST)는 생성형 AI의 그럴듯한 오류를 위험 항목으로 다루고, 배포 전 시험과 지속적인 측정·문서화를 권고한다. 이는 개인에게도 적용할 수 있다. 출처가 붙었다면 안심할 것이 아니라 오히려 확인할 경로가 생겼다고 생각해야 한다.
AI를 잘 활용하는 능력은 더 정교한 질문을 던지는 데서 끝나지 않는다. 답을 받은 뒤 잠시 멈추고, 주장과 근거 사이를 직접 건너가는 능력까지 포함한다. 출처는 판단을 대신하는 보증서가 아니다. 인간이 책임 있게 판단할 수 있도록 만든 지도다. 지도를 펼쳤다면, 실제 길과 맞는지 확인하는 일은 여전히 우리의 몫이다.
핵심 출처
- Large language models improve physician accuracy but lead to false reliance, Chanda 외, 2026년 8월 1일 공개 프리프린트.
- When combinations of humans and AI are useful, Vaccaro·Almaatouq·Malone, Nature Human Behaviour, 2024.
- Exploring automation bias in human–AI collaboration, Romeo·Conti, AI & Society, 2025.
- Artificial Intelligence Risk Management Framework: Generative AI Profile, NIST, 2024년 7월 26일.
댓글
댓글 쓰기