한국어 AI 감지기 실측: 같은 글이 100%에서 0%로 바뀐 결과는 무엇을 의미할까?
직접 쓴 글인데 AI가 작성했다고 나오면 어떻게 해야 할까? 반대로 AI로 만든 글에서 ‘AI 가능성 0%’가 나오면 사람이 쓴 글이라고 봐도 될까?
AI 감지기의 점수는 글의 실제 작성 과정을 증명하지 않는다. 이번에는 ChatGPT로 생성한 한국어 글을 Solvely AI Detector로 검사하고, Solvely AI Humanizer로 수정한 뒤 다시 검사했다. 원문은 AI 가능성 100%, 수정본은 0%로 표시됐다. 숫자만 보면 극적인 변화지만, 이 결과를 해석하려면 문장의 변화와 테스트의 범위를 함께 봐야 한다.
작성 배경: Solvely 관련 업무를 수행하는 작성자가 2026년 11월 9일 테스트 화면을 바탕으로 정리했다. 독립적인 제3자 평가나 전체 정확도 검증은 아니며, 글 정리에는 AI의 도움을 받았다.
1. 무엇을 어떻게 테스트했나?
ChatGPT에 “한국어로 1,000자 분량의 글을 작성해 주세요.”라고 요청했다. 생성된 글은 반복되는 일상, 아침의 따뜻한 물, 작은 빵집과 친절처럼 일상적인 소재를 다룬 한국어 산문이었다.
이 원문을 Solvely AI 감지기에 입력한 다음, 같은 글을 Humanizer로 수정하고 다시 검사했다. ‘1,000자’는 요청한 목표 분량이며 실제 글자 수를 별도로 측정한 것은 아니다. 도구에서는 원문 278단어, 수정본 270단어로 표시됐다. 단어 수와 글자 수는 구분해야 한다.
하나의 원문과 그 수정본을 비교했다. 사람이 직접 쓴 대조군, 여러 주제의 표본, 반복 검사는 포함하지 않았다. 결과는 이 샘플에서 관찰된 변화로 읽는 것이 적절하다.
2. 첫 검사: 원문은 AI 가능성 100%
원문 검사 화면에는 ‘100% AI 가능성’과 ‘높은 가능성’이 표시됐다. 본문에는 AI와 유사하다고 분류된 문장이 강조됐다. 이번 글은 실제로 AI가 생성했으므로, 이 샘플에서는 분류 방향이 알려진 작성 과정과 일치했다.
다만 100%라는 표시가 도구의 정확도 100%를 의미하지는 않는다. 한 입력의 결과를 모든 한국어 글에 일반화할 수 없으며, 통계적으로 검증된 작성자 확률이라고 단정해서도 안 된다. 문장 강조는 도구가 어떤 부분을 의심했는지 살펴보는 참고 정보이지, 해당 문장이 틀렸거나 품질이 낮다는 증거는 아니다.
3. Humanizer를 거치며 실제로 달라진 문장
Humanizer에서는 ‘원본’ 스타일을 사용했다. 변화는 문장을 나누거나 표현을 단순하게 바꾸는 형태로 확인됐다.
수정 전
반복되는 일상은 때로 지루하게 느껴지지만, 조금만 천천히 바라보면 그 안에도 새로운 풍경이 숨어 있다.
수정 후
반복되는 일상이 가끔 지루하게 느껴질 때도 있다. 천천히 바라보면 그 안에 새로운 풍경이 있다.
한 문장이 두 문장으로 나뉘면서 호흡이 짧아졌다. ‘풍경이 숨어 있다’는 비유가 ‘풍경이 있다’로 바뀌었다. 읽기는 편해질 수 있지만 원문의 묘사와 여운은 줄었다. 수정본이 무조건 더 좋다기보다, 간결함과 표현의 분위기 중 무엇이 필요한지에 따라 선택이 달라진다.
다른 문장도 비교해 보자.
수정 전: 아침에 마시는 따뜻한 물 한 잔은 몸을 깨우고 마음을 차분하게 만든다.
수정 후: 아침에 따뜻한 물 한 잔을 마시면 몸이 깨어나고 마음이 차분해진다.
중심 의미는 비슷하지만 명사를 중심으로 설명하던 문장이 행동과 결과를 설명하는 구조로 바뀌었다. 확인할 수 있는 사실은 표현과 문장 구조의 변화다. 어떤 변경이 탐지 점수에 얼마나 영향을 줬는지는 이 테스트만으로 알 수 없다.
4. 재검사: 0%가 나왔지만 작성 이력은 그대로
수정본을 다시 검사하자 ‘0% AI 가능성’, ‘AI 가능성 낮음’이 표시됐다. 처음보다 100퍼센트포인트 낮아졌지만, 이 글은 여전히 AI가 생성하고 AI가 수정한 글이다.
“이번 수정본에 대해 도구가 AI 가능성을 낮게 표시했다”는 해석은 가능하다. “사람이 직접 썼다는 사실이 입증됐다”는 해석은 불가능하다. Humanizer 화면의 ‘사람이 작성한 글’이라는 문구 역시 제품의 결과 표현으로 이해해야 한다. 실제 생성 이력을 바꾸는 것은 아니다.
이 사례는 수정 이후 같은 감지기의 결과가 크게 달라질 수 있음을 보여 준다. 동시에 점수만으로 작성자를 판정하는 데 한계가 있음을 보여 준다.
5. 화면에 나온 다른 검사기 이름은 어떻게 봐야 할까?
원문 결과에는 ‘교차 확인 결과’ 영역에 ZeroGPT, Turnitin, GPTZero 등의 이름과 수치도 표시됐다. 하지만 이번 기록은 Solvely 화면을 확인한 것이며, 각 서비스 공식 사이트에 원문을 따로 입력한 독립 비교 실험은 아니다.
따라서 ‘여러 검사기를 각각 직접 테스트했다’거나 ‘모든 검사기에서 검증됐다’고 표현하지 않는다. 서비스 간 성능을 비교하려면 같은 샘플과 실행 조건을 사용해 각 서비스에서 결과를 별도로 기록해야 한다.
6. 결과가 예상과 다를 때 할 일
직접 쓴 글이 AI로 표시됐다면: 점수 때문에 문장을 모두 바꾸기보다 초안, 메모, 문서 수정 이력과 출처를 먼저 정리하자. 작성 과정을 설명해야 한다면 실제 기록이 더 직접적인 근거가 될 수 있다.
AI를 활용한 글에서 0%가 나왔다면: 사실관계, 인용, 논리와 기존 자료와의 유사성을 별도로 검토하자. 낮은 AI 점수는 오류 없음이나 표절 없음의 증명이 아니다. 제출처의 AI 사용 규정도 점수와 관계없이 확인해야 한다.
Humanizer를 사용했다면: 원문과 수정본을 나란히 비교하자. 핵심 주장과 조건, 수치와 고유명사, 인용문이 유지됐는지 확인해야 한다. 문장이 짧아졌더라도 중요한 뉘앙스가 사라졌다면 다시 다듬는 편이 낫다.
새로운 테스트를 계획한다면 사람이 직접 작성한 글과 AI 생성문을 함께 준비하고, 주제와 분량을 다양하게 구성하자. 원문·수정본·검사 날짜·설정을 보관하면 이후 결과를 비교하기도 쉽다. 개인 정보나 공개할 수 없는 문서는 입력 전 서비스의 데이터 처리 방침을 확인하는 것이 좋다.
자주 묻는 질문
AI 가능성 100%면 반드시 AI가 쓴 글인가?
단정할 수 없다. 이번 원문은 실제 AI 생성문이었지만 한 사례의 결과가 모든 글에 적용되지는 않는다. 작성자 판단에는 초안과 수정 이력 등 추가 자료가 필요하다.
0%면 사람이 작성했다는 증거인가?
아니다. 이번에는 AI 생성문을 AI로 수정한 뒤 0%가 표시됐다. 낮은 점수만으로 사람의 직접 작성이나 독창성을 증명할 수 없다.
AI 감지와 표절 검사는 같은 기능인가?
다르다. AI 감지는 글에서 AI 생성과 관련된 특징을 추정한다. 표절·유사도 검사는 기존 자료와 겹치는 내용을 확인한다. 어느 한 검사로 다른 검사를 대체할 수 없다.
이 결과로 한국어 전체 탐지 정확도를 평가할 수 있나?
자료가 부족하다. 사람의 글을 AI로 분류하는 경우와 AI 글을 놓치는 경우를 모두 확인할 수 있도록 대조군과 다양한 표본을 준비해야 한다.
점수보다 먼저 확인할 것은 글과 작성 과정
이번 샘플에서는 원문 100%, 수정본 0%가 표시됐으며 문장 분리와 표현 단순화도 확인됐다. 그러나 전체 정확도나 인간 작성 여부를 입증한 실험은 아니다.
AI 감지기는 글을 점검하는 출발점으로 활용할 수 있다. 최종 판단에서는 내용의 정확성, 출처, 수정 이력과 실제 읽기 경험을 함께 살펴야 한다. 독자에게 필요한 것은 낮은 점수 자체보다 이해하기 쉽고 근거를 확인할 수 있는 글이기 때문이다.
