AI 점수 92점과 90점, 내 작업에서도 차이가 날까요?
같은 문제·설정·성공 기준으로 나온 점수인지 먼저 확인하세요. 한 시험의 작은 우위가 내 업무 성과를 예측하지는 않습니다.
순위 하나보다 내가 하려는 일과 닮은 근거로 선택하자는 것이 이 글의 의견입니다. 점수를 비교하려면 전체 문항 수, 과제, 불확실성을 어떻게 다뤘는지부터 알아야 합니다.
실제로 몇 개를 맞혔는지 세어보세요
가상의 동일 배점 100문항에서 92개와 90개를 맞히면 92%와 90%입니다. 차이는 2%p이자 두 문제입니다. 20문항에서는 한 문제만 달라져도 점수가 5%p 바뀝니다. 모델 측정값이 아닌 산술 예시입니다.
내 작업에서 중요한 실수는 무엇인가요?
청구서 번호를 찾는 일이라면 그 항목의 오류는 문체 취향과 영향이 다릅니다. 도구를 시험하기 전에 허용할 수 없는 실수를 정하세요. 같은 입력·설정·채점 규칙을 기록하고 결과를 본 뒤 유리한 기준으로 바꾸지 마세요.
벤치마크와 더 넓은 성능은 다른 평가 대상입니다
NIST의 2026년 2월 보고서는 고정 벤치마크에서의 정확도와 비슷한 문항 전체로 넓힌 정확도를 구분하고 불확실성과 평가 가정을 다룹니다. 두 문제를 더 맞혔다는 사실만으로 시험 밖의 성능을 어떻게 추정할지는 알 수 없습니다.
작은 시험은 작은 결론으로 쓰세요
대표적인 작업 몇 개를 시도하고 실패도 성공과 함께 남기세요. 더 큰 평가에서 확인할 질문을 찾는 자료로 쓸 수 있습니다. 편의로 고른 작은 표본을 보편적인 순위로 부르거나 이전 결과가 바뀐 모델에도 그대로 적용된다고 가정하지 마세요.
2026년 10월 14일 발행. 가상의 점수를 사용한 편집 분석이며 산술만 검산했습니다. AI 서비스 비교나 통계적 유의성 계산을 수행하지 않았습니다.