414. 사람이 직접 쓴 글과 AI가 쓴 글, 어떻게 구별할 수 있을까?

chatgpt

 

사람이 직접 쓴 글과 AI가 쓴 글, 어떻게 구별할 수 있을까?

 

서론: 인간과 AI의 경계가 모호해지는 시대

2025년 현재, 우리는 AI와 인간이 함께 텍스트를 생산하는 시대에 살고 있습니다. 특히 ChatGPT, Claude, LLaMA, Bard와 같은 대형 언어모델(LLM)은 자연스러운 문장을 생성해내며, 인간처럼 글을 쓰는 능력을 빠르게 발전시켜 왔습니다. 하지만 이로 인해 새로운 문제도 생겨났습니다. "이 글은 사람이 쓴 걸까, 아니면 AI가 쓴 걸까?"라는 질문은 이제 더 이상 학술 논문이나 윤리적 토론에서만 등장하지 않습니다. 온라인 리뷰, 뉴스, 심지어는 학생 과제까지, 글의 진위 여부를 판별하는 기술과 전략이 사회 전반에서 요구되고 있습니다.

 

텍사스 A&M 대학교와 서울시립대학교를 포함한 다양한 연구기관은 AI 텍스트 판별 기술의 정밀도를 향상시키는 데 집중하고 있습니다. 일부 모델은 무려 98.5%의 정확도로 AI가 작성한 텍스트를 탐지할 수 있다고 주장합니다. 그러나 한편으로는, 150만 명 이상이 참여한 튜링 테스트에서는 사용자들이 AI를 맞히지 못한 비율이 40%에 달하기도 했습니다. 이러한 통계는 인간의 직관이 얼마나 자주 AI에 의해 속을 수 있는지를 잘 보여주며, 탐지 기술의 필요성을 다시금 상기시킵니다.

 

이 글에서는 최신 연구와 실험을 바탕으로, 사람과 AI가 쓴 글을 구별하는 데 활용되는 기술과 전략, 그리고 인간이 가진 직관의 한계를 분석해 보겠습니다. 또한, AI 텍스트를 탐지하기 위한 실제 도구와 실험적 기준들이 어떻게 작동하는지, 그리고 그것이 우리의 글쓰기와 콘텐츠 소비 방식에 어떤 변화를 가져오는지도 함께 살펴보려 합니다.

 

1. AI가 쓴 글, 어떻게 구별해냈을까?

배경 설명: AI 판별의 기술적 진보

최근 연구에서는 XAI(설명 가능한 인공지능), TF-IDF 벡터화, 랜덤 포레스트, RNN 등의 알고리즘을 통해 AI 텍스트와 인간 텍스트를 구분하는 기술이 빠르게 발전하고 있습니다. 특히 텍사스 A&M 대학 연구진은 다양한 AI 언어모델(Claude, ChatGPT, Bard, LLaMA, Perplexity)로부터 생성된 텍스트를 다중 분류로 분석해내는 데 성공했습니다.

 

이러한 기술은 단순한 키워드 분석 수준을 넘어서, AI가 생성하는 문장의 맥락, 문체, 구문 구성의 패턴을 포착하려는 방향으로 진화하고 있습니다. 인간처럼 자연스러운 문장을 쓰는 AI에게서 그 '비인간적인' 패턴을 찾아내는 것이 탐지 기술의 핵심입니다.

 

구체적인 사례: 98.5% 정확도의 이진 분류

600개의 텍스트 샘플을 대상으로 한 이진 분류 실험에서, 랜덤 포레스트와 RNN을 활용한 모델은 98.5%의 정확도를 기록했습니다. 기존의 GPTZero 도구가 78.3%의 정확도를 보였던 것과 비교하면, 이는 획기적인 발전입니다. 특히 GPTZero가 4.2%의 샘플을 식별하지 못했던 반면, 새 모델은 모든 샘플을 분석해냈습니다.

 

AI 탐지 정확도를 더욱 높이기 위해 연구진은 다양한 모델별 특성과 구문 사용 경향까지 분석에 포함했습니다. 예컨대 LLaMA는 절차적 표현을 자주 사용하고, Bard는 교통이나 시스템 관련 키워드를 많이 포함시킨다는 사실이 밝혀졌습니다.

 

분석: 문장 구조와 단어 사용의 패턴 차이

이 모델들은 단순히 단어 빈도를 보는 것이 아니라, 특정 AI 모델들이 사용하는 표현 방식의 패턴을 분석합니다. 예를 들어 Claude는 "진심으로", "부탁드립니다", "국가"와 같은 공손하고 시민 참여적인 표현을 자주 사용하고, ChatGPT는 "사용", "도시", "편지" 같은 실용적인 단어를 빈번하게 사용합니다. 이러한 언어적 특징을 학습한 모델은 각기 다른 생성자(AI vs 인간)를 구분해내는 데 강점을 보입니다.

 

이는 AI 탐지 기술이 점차 세분화되고 있다는 증거이며, 향후 특정 AI 모델의 텍스트를 식별하는 전문화된 탐지기도 등장할 수 있음을 시사합니다.

 

2. 사람은 AI를 얼마나 잘 구별할 수 있을까?

배경 설명: 게임으로 구현된 튜링 테스트

AI21랩스는 2023년 4월, "Human or Not?"이라는 온라인 튜링 테스트 기반 게임을 통해 대규모 실험을 진행했습니다. 이 게임에서는 무작위로 매칭된 상대가 AI인지 사람인지를 2분 대화 후 맞히는 구조로, 전 세계 150만 명 이상이 참여했고, 1천만 건 이상의 대화가 기록됐습니다.

 

이 실험은 단순한 흥미 요소를 넘어서, 사람들이 AI를 어떻게 인식하고 판단하는지, 그리고 AI가 어떻게 인간을 속이도록 설계되어 있는지를 파악할 수 있는 기회를 제공했습니다.

 

구체적인 사례: 맞히지 못한 AI의 비율은 40%

놀랍게도, AI와 대화한 사용자 중 40%는 그것이 AI였다는 사실을 맞히지 못했습니다. 특히 챗봇이 맞춤형 페르소나와 오타, 슬랭, 무관심한 태도, 특정 주제에 대한 회피 등을 적절히 활용했을 때 인간 사용자들을 효과적으로 속일 수 있었습니다.

 

또한 참여자들은 예의 바른 응답이나 지나치게 정제된 표현을 AI로 간주하는 경향을 보였으며, 반대로 오타와 감정적 반응, 일상 언어를 사용하는 상대에게는 인간이라는 판단을 내렸습니다. 하지만 이런 기준은 AI가 학습을 통해 충분히 모방 가능한 요소들이기 때문에 점점 무력화되고 있습니다.

 

분석: 인간의 직관이 흔들리는 순간

사람들은 오타나 감정적인 반응, 비속어 사용 등을 통해 인간을 판별하려 했지만, AI 역시 이를 모방하도록 훈련돼 있었습니다. 반대로 너무 예의 바르거나 철학적인 질문에 응답을 회피하면 오히려 AI라고 판단하기도 했습니다. 특히 "AI답게 행동"하는 인간 참가자들은 자주 오해받기도 했죠. 이는 인간의 직관이 AI의 진화를 따라가기 어려워졌다는 신호로 해석될 수 있습니다.

 

이 실험은 AI 판별에 있어 인간의 직관만으로는 충분하지 않으며, 보다 체계적이고 정량적인 탐지 방식이 병행되어야 함을 보여줍니다.

 

3. AI와 인간 텍스트의 결정적 차이는 무엇인가?

배경 설명: 통계적 거리와 클러스터링 분석

서울시립대학교 연구팀은 OpenAI의 텍스트 임베딩(text-embedding-3-small)을 이용해 다양한 AI 및 인간 텍스트를 1536차원 벡터로 변환한 후, 통계적 거리와 커뮤니티 구조 차이를 분석하는 실험을 진행했습니다. 이들은 쿨백-라이블러 발산, 바서스타인 거리 등 복합적인 통계 기법을 동원했습니다.

 

또한 클러스터 수를 2~5개로 변화시키며 군집화를 수행하여, 인간과 AI 텍스트 간 구조적 분포 차이를 정량적으로 관찰했습니다. 이를 통해 동일 주제에 대한 표현 방식이 AI와 인간 사이에서 어떻게 다르게 나타나는지를 입증할 수 있었습니다.

 

구체적인 사례: 온도값 변화에 따른 텍스트 다양성

GPT는 온도(temperature)라는 파라미터를 조정해 다양한 문장을 생성합니다. 낮은 온도에서는 원본 텍스트에 매우 유사한 재진술이 이루어지지만, 온도가 높아질수록 창의적이고 감정적인 언어가 도입됩니다. 그러나 원본 텍스트와의 의미적 유사성은 낮아지는 경향을 보였습니다.

 

예컨대 호텔 리뷰를 예로 들면, 원문에 가까운 표현은 0.1의 온도에서 나왔고, 중간 정도의 온도(0.7)는 적절히 변형된 자연스러운 문장, 높은 온도(1.5)는 창의적이지만 원문의 의도에서 멀어진 표현을 만들어냈습니다. 이로써 생성 다양성과 의미 유지를 동시에 만족시키기 어렵다는 한계도 드러났습니다.

 

분석: 반복적 변형이 인간다움을 잃게 만든다

가장 흥미로운 결과는 GPT가 한 번 바꾼 텍스트(G)보다, 다시 한 번 바꾼 텍스트(S)의 경우 원본(O)과 더욱 동떨어졌다는 점입니다. 이는 AI가 반복적으로 패러프레이징을 수행할수록 인간이 쓴 글의 뉘앙스를 잃는 경향이 있다는 것을 시사합니다. 인간은 맥락, 정서, 목적을 기반으로 글을 쓰지만, AI는 주어진 문장을 문법적으로 다양화하는 데 초점을 맞추기 때문입니다.

 

이는 교육 분야에서의 AI 글쓰기 탐지, 저작권 보호, 창작 윤리와도 직결되는 중요한 시사점을 제공합니다.

 

결론: 우리가 진짜 구별해야 할 것은 기술이 아니라 태도다

AI의 텍스트 생성 능력은 인간을 점점 더 흉내 낼 수 있는 수준에 도달하고 있습니다. 하지만 여전히 AI는 감정, 경험, 맥락을 완전히 이해하지 못합니다. 최신 탐지 기술은 이를 기반으로 한 "언어의 맥락적 사용"을 탐지하고 있으며, 인간의 직관은 때로 AI보다 정확하지 않을 수 있다는 사실도 명확해졌습니다.

 

결국 우리가 진짜 구별해야 하는 것은 글쓴이의 정체보다도, 그 글이 어떤 목적을 가지고, 어떤 영향을 미치며, 어느 맥락에서 사용되었는지입니다. 생성형 AI 시대에는 텍스트의 진위뿐만 아니라 그 의미와 용도에 대한 판단력이 더욱 중요해질 것입니다.

 

AI와 인간이 공존하는 정보 생태계 속에서, 우리는 보다 정교한 탐지 기술을 개발하는 동시에, 독자의 비판적 사고력과 미디어 리터러시 또한 함께 강화해야 합니다. 글의 정체성보다 더 중요한 것은, 그것이 사회에 던지는 메시지의 무게입니다.

 

---

관련된 다른 글도 읽어보시길 추천합니다

 

2025.03.26 - [Study] - 111. 양자역학과 관측: 파동함수와 그 붕괴의 미스터리

111. 양자역학과 관측: 파동함수와 그 붕괴의 미스터리

2025.03.26 - [AI] - 411. 구글, 양자 컴퓨팅, 그리고 실현 가능성: 상용화를 향한 도전

411. 구글, 양자 컴퓨팅, 그리고 실현 가능성: 상용화를 향한 도전

2025.03.25 - [Study] - 110. 하이젠베르크의 불확정성 원리: 입자의 본질을 뒤흔드는 양자 세계의 진실

110. 하이젠베르크의 불확정성 원리: 입자의 본질을 뒤흔드는 양자 세계의 진실

---

읽어주셔서 감사합니다

공감은 힘이 됩니다

 

:)