GPT가 파일 내용을 금방 잊는 이유, 정확하게 다루는 방법

"위에 업로드한 파일의 요약 다시 보여줘"라고 했을 때 요약을 못한다고 느끼신 경험 있으신가요? 처음에는 파일의 내용을 잘 알고 내 질문에 답한 것 같은데 고작 몇 턴 이후에는 해당 파일을 기반으로 한 질문에 대한 답을 잘 못해서 갸우뚱한 기억이 있습니다. 제가 기대한 건 파일을 한 번 줬으면 해당 세션의 대화(=대화창)에서는 필요할 때마다, 혹은 매 번 읽거나 읽을 수 있다고 생각했거든요. GPT 4o 기준으로 현재 256K 안의 context window에 포함되어 있다면 더더욱이 말이죠.

 

업로드한 파일은 어느 시점에 읽고 어떻게 활용해?

- 파일을 업로드하면 GPT는 파일을 업로드한 때(turn)에서만 내용을 파싱(읽고 요약)합니다.

- 파일이 context window에 텍스트로 삽입되는 것과 유사한 방식으로 작동하는 것입니다.

- GPT는 파일을 파일을 참조한다기보다 한 번 읽고 그 내용을 메모리에 넣습니다.

- 그래서 첫 번째 요청 시 요약된 파일 내용을 들고 있으므로 정확히 대답할 수 있지만, 이후 요청에서 파일을 다시 읽는 로직이 없기 때문에 해당 내용이 window에서 밀리면 다시 접근이 불가능하게 되고, 결과적으로는 GPT의 답변이 마치 파일 내용을 기억 못하는 것처럼 보입니다.

 

그럼 "위에서 업로드한 파일을 다시 참고해줘"라고 하면 어때?

GPT는 파일을 직접 불러오는 기능이 없습니다. 그래서 "다시 참고해줘"라고 해도 GPT 입장에선 파일 내용과 관련된 답변을 하라는 힌트를 얻을 뿐이지 실제로 다시 읽진 못합니다.

 

업로드할 때 요약본을 만들어서 들고 있다고? 전문도 아니고?

업로드할 때 내용을 읽고 요약해서 메모리에 들고 있다면 요약할 때 불포함된 부분도 있을텐데 그 부분은 관련 내용을 바로 물어도 답을 못하는 게 아닌가 하는 의심이 드는데, 맞습니다.

 

GPT는 파일을 요약할 때, 전체 텍스트 중 대표적이거나 빈도가 높은 문장, 개념, 키워드 위주로 요약을 하기 때문에 이 때 비중이 낮은 정보나 예외적인 예시는 누락될 수 있습니다.

A: (파일 업로드) 이거 요약해줘  
GPT: 요약 완료 (예: A, B, C가 핵심입니다)

B: 그럼 이 문단에서 언급된 ‘세부조건 X’는 뭐였지?

→ GPT: 죄송하지만 그 내용은 확인할 수 없어요.

GPT가 세부조건 X를 context window에 넣지 않았거나 요약에서 누락했다면 이렇게 답변을 못하는 케이스가 생기는 것이죠.

 

왜 요약해서 메모리에 넣는거야?

파일이 클 경우 전체 텍스트를 context에 넣으면 context window를 초과하기 쉽기 때문입니다. 그래서 "문맥 압축 요약"으로 중요 정보를 추려서 활용하려는 것이죠.

 

그럼, 업로드하는 파일이 작아도 항상 문맥 압축 요약을 하는지 궁금해집니다. 이걸 하는 이유가 결국 context window를 효율적으로 사용하기 위함이기 때문이죠.

 

결론은, 요약을 할지 안할지도 LLM이 직접 판단하거나 시스템이 자동으로 설계한 전략에 따라 판단하게 된다고 합니다.

- 압축 여부를 판단하는 경우:

    - 대화 전체를 포함한 context window가 너무 커질 우려가 있을 때

    - 사용자가 요청한 작업을 위해 파일의 전체 내용을 그대로 다룰 필요가 없다고 판단될 때

    - 일부 모델(예: GPT-4 Turbo)의 시스템 설계에서 파일 내용 전체를 memory로 저장하지 않고, 요약을 통해 요점만 반영하려는 경우

 

일반적으로는 시스템 단에서 자동 요약(compression)이 이루어지고, 요약을 어떻게 할지(어떤 정보가 중요한지)는 LLM이 판단합니다.

 

Context Compression은 어떻게 이뤄져?

Context Compression은 핵심 정보를 유지하면서 토큰 수를 줄이는 작업입니다. 즉, 의미는 유지하되, 표현은 간결하게 하는 것이예요.

원문 (파일 일부 예시):
2023년 3분기 매출은 1,200억 원으로 전년 동기 대비 25% 증가했습니다. 특히 신제품 A의 판매가 전체 매출의 40%를 차지하며 성장을 견인했습니다. 반면 기존 제품 B는 시장 경쟁 심화로 매출이 감소했습니다. 영업이익은 150억 원으로 3% 하락했으나, 이는 R&D 투자 증가에 따른 일시적 감소로 분석됩니다.

Context Compression 결과 (요약된 문맥):
2023년 3분기 매출은 전년 대비 25% 증가했고, 신제품 A가 매출의 40%를 차지. 제품 B는 매출 감소. 영업이익은 R&D 투자 증가로 3% 하락.

압축할 때 숫자나 변화율, 원인 등의 핵심 정보는 유지하고, 형용사나 수식어, 반복 표현은 생략하는 등 문장 구조를 간단하게 재구성합니다. 이 방식은 단순한 요약이 아니라 LLM이 다음 작업에 어떤 정보가 필요할지를 스스로 고려해서 요약한다는 점에서 의미가 있습니다.

 

하지만, 위와 같이 요약을 거치면서 불포함된 부분에 대한 답은 할 수 없게 되는데요. "23년 3분기 매출액이 얼마야?"라고 물으면 답을 못하게 되는 것이죠.

 

그래서 만약 정확한 수치나 원문 인용이 필요할 수 있는 상황이라면 압축하지 말고 원문을 그대로 포함시키라고 요청하거나 파일 원문도 함께 참고해달라고 명시하면 시스템이 요약 말고 원문을 문맥에 남길 확률이 높아진다고 하네요.

 

프롬프트 예시:

- 이 파일을 요약하지 말고, 원문 전체 내용을 그대로 참고해서 질문에 정확하게 답해줘. 특히 수치(예: 매출, 수익률 등)와 고유 표현은 반드시 그대로 보존해줘.

- 파일 내용 중 숫자(금액, 백분율 등)나 연도, 제품명 같은 구체 정보가 중요하니, 압축 요약하지 말고 원문 문장 그대로 context에 포함해서 사용해줘.

- 문맥 요약은 가능하지만, 숫자(예: 매출액, 이익률 등)는 절대 누락하거나 바꾸지 말고 원문 그대로 포함해서 기억해줘.

 

업로드한 파일 관련 후속 질문을 이어가고 싶으면 어떻게 해야해?

방법 1. 요약한 내용을 저장하고 활용 

- 첫 턴에서 파일 전체 요약을 요청 → 요약 내용을 복사해서 후속 질문마다 반복적으로 삽입해 가며 질문을 이어감

A: (파일 업로드) 이 파일을 요약해줘  
B: (GPT 요약 결과)  
C: 아래 요약 내용을 기반으로 3가지 인사이트를 뽑아줘:  
[붙여넣기: 요약 내용]

방법 2. GPT API + function 사용

- GPT가 파일 내용을 API로 불러와야 할 때마다 다시 요청