context drift
아주 좋은 질문입니다.
이런 현상은 “drift” 또는 특히 “context drift” 혹은 “attention drift” 라고 부릅니다.
구체적으로 설명하면:
- LLM (대규모 언어 모델) 은 대화가 길어질수록,
- 초기에 설정된 목표나 톤, 문맥을 점점 잃어버리는 경향이 있습니다.
- 처음과 끝은 비교적 집중이 잘 되어 있지만,
중간부에서는 일관성 부족 또는 품질 저하가 발생할 수 있습니다.
이런 문제를 가리켜:
| 용어 | 의미 |
|---|---|
| context drift | 대화 문맥이 점차 흐트러지거나 변질되는 현상 |
| attention drift | 모델이 초반 초점에서 점차 다른 주제나 스타일로 주의가 흐트러지는 현상 |
| generation degradation | 긴 응답/대화 세션에서 점차 품질이 저하되는 일반적인 현상 |
왜 이런 현상이 생기나?
- LLM은 “현재까지의 입력” 만을 보고 매번 다음 토큰을 예측합니다.
- 대화가 길어질수록 초기 정보(시작 컨텍스트) 의 영향력이 줄어들 수 있습니다.
- 또한 메모리 한계(컨텍스트 윈도우 크기) 때문에,
과거 정보가 부분적으로 잘리거나 희석되면서 drift가 심해집니다.
예시
- 초반: 주제를 정확히 따라감
- 중간: 세부 정보가 틀리거나, 약간 다른 방향으로 새어 나감
- 끝: 마무리할 때 다시 처음 목표로 끌어오는 경향이 있음
정리
장시간 LLM 사용 시, 중간에 응답 품질이 떨어지는 현상은
“Context Drift”, “Attention Drift”, 또는 포괄적으로 “Generation Degradation” 이라고 부릅니다.
필요하면
- “Context Drift를 방지하는 기술들” (예: Repetition Penalty, Context Refresh 기법)
- “Long conversation 최적화 방법” 도 추가로 정리해드릴 수 있어요! 🚀
혹시, 이 현상을 해결하거나 완화하는 방법도 궁금하신가요? (바로 이어서 알려드릴게요!) 🎯