긴 문서를 넣었는데 AI가 중요한 조건을 놓쳤다면?

긴 문서를 넣었는데 AI가 중요한 조건을 놓쳤다면, 빠진 구절이 답변에 쓰인 자료에 있었는지 먼저 확인해 보세요. 그런 다음 원문과 답을 대조해 그 조건이 결론에 반영됐는지 살핍니다.

파일 업로드가 끝났다는 표시만으로 문서 전체가 모델에 전달됐는지는 알 수 없습니다. 필요한 구절이 입력에 들어갔더라도, 답이 그 구절을 놓치거나 다른 조건을 적용할 수 있습니다.

맨 위 그림은 긴 문서 속 중요한 구절을 표현한 설명용 생성 삽화입니다.

오후 4시가 맞는 안내인데 왜 답은 틀릴까요?

다음은 설명을 위해 만든 가상의 견학 안내에서 뽑은 세 구절입니다.

• §1 일반 안내. 마지막 정기 견학은 오후 4시에 시작합니다.
• §8 수요일 안내. 수요일 마지막 견학은 오후 3시 30분에 시작하며, 시작한 뒤에는 참가할 수 없습니다.
• §14 시설 운영. 안내데스크는 오후 5시에 문을 닫습니다.

수요일 오후 4시에 도착한다면 마지막 견학에 참가할 수 없습니다. §8을 보면 수요일에는 견학이 이미 시작됐고, 시작 후 참가는 금지됩니다. §1의 오후 4시도 원문에 있는 정보지만 수요일에는 예외가 적용됩니다. §14는 안내데스크 운영 시간입니다.

빠진 구절이 어디까지 전달됐을까요?

제품에 따라 업로드한 파일에서 먼저 텍스트를 추출하거나, 질문과 관련 있다고 판단한 일부 구절만 골라 모델에 전달합니다. 예를 들어 검색 단계에서 §1만 골랐다면, 모델이 받은 자료에는 수요일 예외가 빠져 있습니다. 입력 길이 제한 때문에 해당 부분이 잘려 나간 경우도 답변에 필요한 구절이 전달되지 않은 경우에 해당합니다.

반면 §1과 §8을 모두 받은 모델도 수요일 예외를 결론에 적용하지 못할 수 있습니다. 따라서 답이 틀렸다는 사실 하나로 검색 누락, 정보의 위치, 질문 해석 중 어느 쪽이 원인이었는지 가릴 수는 없습니다. 앱이 실제 입력을 보여 주지 않는다면 어느 구절이 모델에 전달됐는지는 미확인으로 두세요. 파일이 답변에 쓰이는 과정은 AI에 문서를 올리면 모델이 새로 학습할까?에서도 살펴볼 수 있습니다.

입력 안에서 근거의 위치를 바꾸면 어떻게 될까요?

2024년에 발표된 Liu 등의 연구는 여러 문서 중 하나에 답이 있는 질의응답에서, 문서 순서를 바꿔 정답이 담긴 문서의 위치를 옮겼습니다. 연구에서 시험한 모델들은 근거 문서가 입력의 처음이나 끝에 있을 때보다 중간에 있을 때 성능이 떨어지는 경우가 있었습니다. 이 비교에서는 근거가 입력에 들어 있다는 조건을 유지했습니다. Liu 등의 긴 문맥 연구

같은 해 Hsieh 등의 RULER 연구는 긴 입력에서 값 하나를 찾는 과제에 더해, 흩어진 관계를 여러 단계로 따라가거나 여러 위치의 정보를 모으는 합성 과제를 시험했습니다. 단순한 찾기에서 높은 점수를 낸 모델도 더 복잡한 과제에서는 입력이 길어질수록 성능이 떨어지는 경우가 있었습니다. 두 연구는 당시 시험한 모델과 과제의 결과입니다. 견학 예시에서 어느 단계가 문제였는지는 그 답과 자료를 따로 대조해야 합니다. Hsieh 등의 RULER 연구

답을 믿기 전에 근거부터 대조해 보세요

1. 결론을 가르는 구절을 요청하세요. “수요일 오후 4시에 도착하는 경우를 판단해 주세요. 적용할 규정의 절 번호와 원문을 먼저 보여 주고, 그 규정에 따라 결론을 써 주세요.”처럼 질문할 수 있습니다.
2. 인용과 결론을 따로 확인하세요. 인용을 실제 원문에서 찾아 요일, 시간, 시작 후 제한이 그대로인지 봅니다. 인용이 맞더라도 답이 일반 규정을 따랐다면 결론을 고쳐야 합니다.
3. 근거가 빠졌다면 관련 부분을 함께 넣어 보세요. 일반 규정과 예외가 모두 들어간 짧은 발췌를 같은 질문에 붙입니다. 새 답이 예외를 반영하면 어느 구절을 근거로 삼았는지 다시 확인하세요. 한 번의 비교만으로는 답이 달라진 원인이나 처음에 어느 단계에서 조건이 빠졌는지 알기 어렵습니다.