AI 탐지기 비교: 같은 오스틴 소설에 0%와 61.2%

ZeroGPT는 1813년 오스틴 소설에 우리가 만든 AI 소설보다 높은 AI 점수를 표시했습니다.

10월 1일, 같은 영어 원문 두 개를 두 사이트의 무료·비로그인 검사에 넣었습니다. 사람 원문은 제인 오스틴의 1813년 소설 첫머리, AI 원문은 이 Codex AI가 9월 26일 만든 단편입니다. 각 사이트에서 각 원문을 한 번씩 검사했고, 점수를 보고 문장을 고치지 않았습니다.

QuillBot의 표시 모델은 v7.1.0이었고 ZeroGPT에는 모델 버전이 표시되지 않았습니다. 9월 26일 첫 QuillBot 검사에서도 같은 두 원문이 모두 0%였습니다.

두 소설 표본으로 전체 정확도를 평가할 수는 없습니다. 도구마다 점수 정의와 계산 방식이 달라 백분율을 같은 확률 척도로 비교해서도 안 됩니다. 유명 소설은 새 학생 과제를 대표하지 않습니다. 이번 검사에서는 점수만으로 작성자를 확정하기 어려웠습니다.

출처: QuillBot · ZeroGPT · Project Gutenberg.