TS

文本相似度

编辑距离 / Jaccard / 余弦,三种算法一起看

—

如何使用本工具

  1. 两段文本各贴一边,三个分数会立刻出来,顶部是综合相似度。
  2. 编辑距离告诉你改了几个字,Jaccard 和余弦看的是字符组合的重合程度。
  3. 比较中文长文案时建议勾「忽略空白与标点」,否则标点差异会拉低分数。
  4. 两个分数差得远就说明改动集中在局部(编辑距离低但 Jaccard 高),或者整体重写(两者都低)。
  5. 表格下方的公共前后缀长度能快速看出改动位置:前缀很长说明只有尾部变了。

常见问题

Q:编辑距离和 Jaccard 应该看哪个?

A:看目的。想知道「改了几个字」用编辑距离,它对顺序敏感、对局部修改友好;想知道「两段话是不是在讲同一件事」用 Jaccard 或余弦,它忽略顺序,对换段落、调句子顺序不敏感。两个都给出来就是为了交叉判断。

Q:为什么用字符二元组而不是分词?

A:中文分词要词典,不同分词器结果不一样,工具里塞词典又笨又慢。字符 bigram 完全语言无关,中英文都能跑,对「今天天气」这类短语重合判断相当准。代价是它捕捉不到远距离的语义关系。

Q:编辑距离为什么不直接用 Damerau-Levenshtein?

A:Damerau 额外把「相邻字符交换」算作一次操作,对拼写纠错更合理(teh → the 距离是 1 而不是 2)。但标准 Levenshtein 更通用、更好解释,说「改了 3 个字」大家都能理解。需要处理错别字场景才值得换算法。

Q:100% 但文本明明不一样?

A:勾了「忽略空白与标点」时,两段只差标点的文本会被归一成同一个字符串,相似度自然是 100%。关掉这个选项再看。另外 emoji 这类代理对字符在某些长度计算里会被算成 2 个单元。

Q:这个能用来查重论文吗?

A:可以粗略判断两段是否高度重复,但不够。学术查重需要处理同义词替换、语序调整、段落重组,通常用 n-gram 指纹加语义向量。这个工具更适合比对版本差异、验证 OCR 结果、检查改写是否过度。

Q:多长的文本会有性能问题?

A:编辑距离是 O(n×m),两段各 5000 字就要算 2500 万次比较,浏览器大概几百毫秒;超过一万字建议先截取或分段比。Jaccard 和余弦是线性复杂度,几乎无压力。