GPT는 문맥을 읽는다면서 왜 엉뚱한 답을 할까? 똑같은 질문에도 답이 다른 이유

1. GPT가 context window 안에 들어간 이전 내용을 기억한다면 "상태 기억이 없다"는 건 틀린 말 아냐?GPT가 기억하는 건 이전 대화 내용이 아니라, context window 안에 있는 내용입니다. 그리고 이건 명확하게는 기억은 아닙니다. 예를 들어, 처음에 A라고 말했고, 두 번째에 B라고 말했고, 세 번째에 C라고 말했을 때, GPT는 이 세 가지를 기억한다기보다는, 세 문장을 모두 집어넣고 거기서 최종 답을 도출하는 겁니다. 그래서 중간 상태를 내부적으로 저장하고 활용하지는 못합니다. 즉, GPT는 기억처럼 보이는 문맥 기반의 추론은 잘하지만, 진짜 상태 전이를 추적하거나 저장하지는 않습니다. 그래서 절차적 흐름에 약해요. 다만 문맥 안에 잘 정리된 절차가 있다면 따라오는건 잘 할..

2025.05.12