UN

Unicode 规范化

四种形式对比 + 逐码点分析 + 零宽字符清理

NFC 把「字母 + 组合音标」合成预组字符,NFD 反过来拆开;NFKC / NFKD 还会把全角字母、连字、带圈数字这类兼容字符拆成标准形式。比较字符串是否相等之前先统一成 NFC,能避开大量「看着一样却 !==」的坑。

如何使用本工具

  1. 把可疑文本粘进左边,右边会同时给出 NFC / NFD / NFKC / NFKD 四种结果,标出哪些形式改写了内容。
  2. 下方逐码点列出 U+ 编码和类别,橙色卡片就是组合音标、零宽字符、变体选择符或兼容字符。
  3. 点「清除零宽字符」可以去掉从网页、聊天软件复制时混进来的不可见字符。
  4. 比较字符串、做搜索或做唯一键之前,先把两边统一 normalize 成 NFC,避免「看着一样却 !==」。

常见问题

Q:NFC 和 NFD 到底差在哪?

A:é 有两种编码:一个码点 U+00E9(预组),或者 e + U+0301(字母加组合音标)。NFC 尽量合成预组字符,NFD 尽量拆成基础字符加组合音标。两者显示一样,但字节数、字符串长度和不带规范化的比较结果都不同。

Q:NFKC / NFKD 会不会丢信息?

A:会。兼容规范化会把全角 A 变成 A、连字 ff 变成 ff、带圈 ① 变成 1、㍿ 变成「株式会社」。显示语义变了,适合做搜索索引和去重,不适合原样展示原文。

Q:零宽字符有什么用,为什么要清?

A:U+200B 零宽空格用于排版断行,U+200D 零宽连字用来把多个 Emoji 拼成一个家庭图标,U+FEFF 是 BOM。它们看不见却占字节,粘进代码或用户名经常导致「明明一样却匹配不上」。清理按钮只删零宽类,不动 U+200D 参与的正常 Emoji 组合之外的内容。

Q:为什么码点数和字符串 length 不一样?

A:JS 的 String.length 数的是 UTF-16 码元,Emoji、部分汉字扩展区占两个码元(代理对),组合音标又单独占一个。这里用 Array.from 按码点遍历,所以两个数字会不一样。

Q:变体选择符是什么?

A:U+FE0F 让前面的字符优先用彩色 Emoji 样式,U+FE0E 优先用文本样式。❤ 和 ❤️ 视觉不同但语义相同,做去重时可以先 NFKC 再去掉变体选择符。