짧은 이야기 AI 활용 · 중복 문자열

AI 목록에 똑같아 보이는 글자가 두 번 남았다면, 문자도 같은가요?

실제 문자 배열과 합의한 정규화 규칙을 대조하세요. 같아 보이는 글씨도 다른 유니코드 배열일 수 있습니다.

Unicode는 정준 동등성과 호환 동등성을 구분합니다. NFC 정규화는 정준 동등한 글씨를 공통 표현으로 바꿀 수 있습니다. 문자열 비교 규칙이지 두 기록이 같은 사람이나 물건이라는 증거는 아닙니다.

직접 확인한 문자 두 쌍

첫 쌍은 U+00E9의 é와 e 뒤에 U+0301을 붙인 문자열, 둘째는 U+AC00의 가와 U+1100·U+1161을 합친 문자열입니다. 각 쌍은 원래 서로 다른 문자열 두 개였지만 NFC 뒤에는 하나로 비교됐습니다. AI 목록이 아닌 문자 배열 시험입니다.

필요한 차이를 없애지 마세요

시험에서 e와 é는 NFC 뒤에도 달랐습니다. ①과1도 NFC에서는 다르지만 호환 형식 NFKC에서는1로 같아졌습니다. 넓은 정규화가 필요한 구분을 없앨 수 있으므로 원본을 바꾸기 전 규칙을 정하세요.

비교 열을 요청하세요

예시 입력: “원래 글씨와 기록 ID를 보존하고 NFC 비교값을 따로 추가해. 중복 표기 후보를 보여주되 글씨가 같다는 이유만으로 기록을 합치지 마.” 실제 식별자로 후보를 확인하세요.

같은 표기의 의미를 제한하세요

정규화한 철자가 같아도 날짜·계정·소유자가 같다고 알 수는 없습니다. 원래 문자열과 적용 규칙을 남기고 기록을 합칠지는 따로 판단하세요.

2026년 10월 14일 발행. 기존 Python의 Unicode 15.0 데이터베이스로 가상 문자열을 시험했으며 현재 Unicode 참고 문서는 18.0입니다. 전체 적합성·AI 서비스·개인 기록 중복 제거는 시험하지 않았습니다.

출처: Unicode · Normalization · Python · unicodedata.