질문에 거짓 전제를 숨겼더니, Claude 3종은 속았을까

거짓 전제를 숨긴 질문 8개를 세 모델이 모두 바로잡은 결과 요약
거짓 전제를 숨긴 질문 8개를 세 모델이 모두 바로잡은 결과 요약

질문 안에 틀린 정보가 슬쩍 섞여 있으면, AI는 알아챌까요 아니면 그대로 받아서 설명할까요? 저도 궁금해서 직접 확인해 봤어요.

지난 글에서는 세상에 없는 책과 함수를 물었어요. 이번에는 난이도를 올려서 실제로 있는 작가, 책, 함수에 틀린 정보를 끼워 넣고 Claude 3종에게 물어봤어요.

📌 먼저 결론 요약

함정 질문 8개에 세 모델 모두 틀린 전제를 답변 첫머리에서 바로잡았어요. 다만 질문 10개를 한 번씩만 물은 실험이라, 이 정도 거짓 전제에는 속지 않았다는 데까지만 말할 수 있어요.

어떻게 실험했는지 먼저 알려드릴게요
  • 실행일: 2026년 11월 7일
  • 방식: Anthropic API 직접 호출이에요. 웹 채팅 화면이 아니에요.
  • 모델: claude-haiku-5-5, claude-sonnet-5-5, claude-opus-5-5
  • 설정: 기본 온도, 시스템 문구는 한국어로 간결하게 답하라는 한 줄, 질문마다 1번 호출했어요.
  • 질문: 10개예요. 거짓 전제를 숨긴 함정 8개와 정상 질문 2개를 섞었어요.
함정 질문 8개는 이렇게 만들었어요
질문 속에 숨긴 거짓과 실제 사실 정리표
질문 속에 숨긴 거짓과 실제 사실 정리표

정상 질문 2개는 자바스크립트 Array.prototype.at()과 엑셀 XLOOKUP의 인수 구성이에요. 함정만 물으면 무조건 아니라고 답하는 건 아닌지 확인하려고 넣었어요.

결과: 8개 모두 바로잡았어요
모델 3종 모두 함정 질문 8개에서 거짓 전제를 바로잡은 결과 그래프
모델 3종 모두 함정 질문 8개에서 거짓 전제를 바로잡은 결과 그래프

세 모델 모두 틀린 정보를 그대로 받아서 설명하지 않았어요. 답변 맨 앞에서 먼저 정정하고, 그다음에 맞는 내용을 설명하는 순서였어요.

답변에서 눈에 띄었던 점
  • 한강 작가 질문은 노벨상은 2024년이고 2016년은 맨부커 인터내셔널상이라고 먼저 바로잡은 뒤, 『채식주의자』 내용을 설명했어요.
  • 『데미안』은 세 모델 모두 1919년 출간과 에밀 싱클레어라는 가명을 짚었어요.
  • 가짜 책 『붉은 정원의 기록』은 확인되지 않는다고 하고, 2014년 한강의 작품인 『소년이 온다』를 대신 안내했어요.
  • 가짜 인수와 기능은 없다고 하면서 대안을 같이 줬어요. 재시도는 HTTPAdapter와 urllib3의 Retry, 평탄화는 itertools.chain, 고유값은 UNIQUE와 FILTER 조합이었어요.
  • Sonnet은 list.flatten()이 NumPy 배열의 flatten()과 헷갈린 것일 수 있다고도 짚었어요.

⚠️ 이 실험으로 말할 수 없는 것

질문 10개를 한 번씩만 물었어요. 채점은 거짓 전제를 짚었는지만 봤고, 답변 뒤쪽에 곁들인 부수적인 사실까지 모두 검증하지는 않았어요. 거짓 전제를 아주 그럴듯하게 만든 질문, 긴 문서 요약, 최신 소식을 묻는 경우는 다루지 않았어요. ChatGPT와 Gemini는 비교하지 않았어요.

내 작업에 쓸 때는 이렇게 확인해요
  1. 질문에 일부러 틀린 숫자를 넣어 봐요 - 바로잡는지 그대로 따라오는지 보면 그 AI의 성향을 알 수 있어요.
  2. 전제를 그대로 받아 길게 설명하면 한 번 더 의심해요 - 틀린 전제를 짚지 않고 설명이 이어지면 주의 신호예요.
  3. 이름과 숫자는 공식 자료로 확인해요 - 책 제목, 연도, 함수명은 공식 문서나 도서 검색으로 확인하세요.

💡 한 번 더 확인해요

이번 결과는 이 정도 거짓 전제에는 세 모델 모두 속지 않았다는 데까지만 말할 수 있어요. 중요한 업무라면 답을 그대로 쓰기 전에 직접 확인해 주세요.

자주 묻는 질문

Q. 거짓 전제를 알아채는 게 환각이 없다는 뜻인가요?
A. 꼭 그렇지는 않아요. 이번 실험은 노골적인 거짓 전제만 다뤘어요. 더 그럴듯한 함정에서는 결과가 다를 수 있어요.

Q. 왜 정상 질문도 섞었나요?
A. 함정만 물으면 무조건 아니라고 답하는 모델도 좋게 보일 수 있어서, 정상 질문에 정상으로 답하는지도 같이 봤어요.

Q. 웹 채팅에서도 같은 결과가 나올까요?
A. 같다고 장담하기는 어려워요. 이 글의 결과는 API 직접 호출 기준이에요.

정리하면 틀린 정보를 숨긴 질문 8개에 Claude 3종은 모두 먼저 바로잡았어요. 그래도 AI가 준 이름과 숫자는 한 번쯤 직접 확인하는 게 가장 안전해요.

오늘 자주 쓰는 AI에게 연도 하나를 일부러 틀리게 넣어 물어보세요. 바로잡는지 따라오는지 보면 그 AI를 얼마나 믿어도 될지 감이 와요.



📌 함께 보면 좋은 글

없는 책·인물·함수를 물어봤더니, Claude 3종은 어떻게 답했을까

챗GPT 무료 vs 제미나이 무료, 같은 질문 10개로 비교하는 방법과 기준

AI 챗봇 답변이 거짓말(할루시네이션)할 때 구분법 5가지

프롬프트·AI 기초 모아보기

이 블로그의 인기 게시물

제미나이 학생 무료 1년, 한국 대학생도 받을 수 있을까? 신청 마감은 12월 31일 (2026년 11월 확인)

챗GPT 무료, 대화는 무제한인데 파일은 하루 3개? 무료 플랜의 숨은 한도

클로드 무료, 대화가 길수록 빨리 막혀요 (한도 아끼는 법)

같은 질문 5개를 Claude 3종에 보냈더니 API 비용이 이렇게 달랐어요