AI Detector - AI Text 진위판별 및 컨텐츠 품질 분석 tool

 

• •  AI Detector
    • https://detecting-ai.com/ 
    • 특징
      • 텍스트가 AI에 의해 생성되었는지 여부를 감지하고 판별하는 생성형 AI Text 검증tool
      • GPT-4, Gemini 등 LLM 생성 텍스트 감지에 특화됨
      • Text 표절여부 확인 및 콘텐츠 품질 분석에 활용 가능
    • 활용 알고리즘
      • 본 tool의 알고리즘은 특정 신경망 알고리즘( RNN, CNN 등)을 활용한다기 보다는 기계학습(ML), 자연어처리에 기반한 여러 알고리즘을 조합한 앙상블 알고리즘 형태를 사용함
    • 한계점
      • 정확성이 부족함 (많이 떨어지는 경향이 있음)
      • False positive/ False negative의 case들이 발생할 가능성이 큼
      • 다른 tool들도 있으나, 사내에서는 보안으로 사용이 막혀있는 듯 함 (어떻게 사용해 볼수 있을???)
    •  활용 예
      • 생성형AI  text의 검증 예 : 12.6% written by AI → 오류가 큼(100% AI생성문)

                 

여러가지 방법으로 분석을 진행 함

---

1. 언어 패턴 분석

• AI Detector는 텍스트의 단어 사용 패턴, 구문 구조, 문장의 복잡성 등을 분석.
• 인간이 작성한 텍스트는 다양한 어휘와 창의적인 표현을 사용하는 경향이 있지만, AI는 학습 데이터에서 자주 등장하는 패턴을 반복적으로 사용하기 때문에 문장이 더 예측 가능하고 반복적임

---

2. Perplexity와 Burstiness 분석

• Perplexity: 텍스트가 얼마나 예측 가능한지를 측정함. 인간이 작성한 텍스트는 예상치 못한 단어 선택이나 문장 구조로 인해 높은 perplexity를 가질 수 있지만, AI는 학습 데이터에 의존해 예측 가능성이 높아 낮은 perplexity를 보임
• Burstiness: 문장의 길이와 패턴 변화의 다양성을 측정함. 인간은 문장 길이와 구조를 자유롭게 변화시키지만, AI는 일정한 패턴을 따를 가능성이 높아 낮은 burstiness를 보임

---

3. 자연어 처리(NLP) 기술 활용

• Sentiment Analysis: 텍스트의 감정적 깊이와 뉘앙스를 분석함. 인간이 작성한 텍스트는 개인적인 경험이나 감정이 담겨있지만, AI는 감정적 요소가 부족할 수 있음
• Syntax & Grammar: 문법적으로 완벽하지만 부자연스러운 문장 구조나 어색한 표현은 AI가 생성한 텍스트의 특징으로 간주됨

---

4. 고급 기술: 담화 구조 분석

• 일부 고급 AI Detector는 담화 구조 분석(Discourse Analysis)을 통해 텍스트의 논리적 흐름과 구조적 차이를 파악함. 인간은 복잡한 논리적 연결과 주제 전환을 자연스럽게 다루지만, AI는 단순한 패턴을 따르기 때문에 구조적으로 예측 가능성이 높음

---

5. 데이터 기반 비교

• Detector는 대규모 데이터셋에서 학습된 패턴을 기반으로 텍스트를 분석함. 인간이 작성한 텍스트와 AI가 생성한 텍스트의 차이를 학습하여 이를 비교하고, 특정 패턴이 AI 생성일 가능성이 높다고 판단함

---

이러한 기술들은 단독으로 작동하기보다는 결합되어 텍스트의 진위성을 평가함.

특히, 복잡한 문장 구조나 감정적 표현이 부족한 경우 AI로 의심할 가능성이 높음