WF

词频统计

中英文一起统计,停用词和词组都能配

中文用内置词典做正向最大匹配,不依赖后端分词服务。

如何使用本工具

  1. 把要分析的文本粘贴到左侧,中英文混排也可以,或点「载入示例」。
  2. 勾选要统计的语言;中文用内置词典做正向最大匹配,英文按单词切分。
  3. 打开「过滤停用词」去掉「的、了、the、and」这类高频无意义词。
  4. 需要看短语时把 n-gram 切到 2 或 3,并按最小词长过滤短词。
  5. 右侧按出现次数降序排列,带占比和频率条,点「复制结果」得到词与次数的 TSV。

常见问题

Q:中文分词准吗?

A:工具用内置的小型常用词表做正向最大匹配,优先切 3 字词、再切 2 字词,没命中的按单字切。它适合看大致的高频词和关键词,但不是专业分词器,人名、地名、新词、专业术语可能被切开。要精确分词请用 jieba 这类专业库。

Q:停用词表能改吗?

A:页面内置了常见的中英文停用词,取消勾选「过滤停用词」就不启用。工具是纯前端的,没有提供更细的自定义词表界面,如果需要特定领域的停用词,建议统计后手动忽略相关行。

Q:n-gram 是什么?

A:n-gram 就是把连续的 n 个词当成一个单元统计。比如「在线 工具 箱」的 2-gram 是「在线工具」「工具箱」。它能发现单词频率看不出的短语搭配,常用于关键词提取、文本分类和搜索建议。

Q:词次和不同词数有什么区别?

A:词次是所有词出现的总次数(同一个词出现 10 次就记 10),不同词数是去重后的词种数量。比如「苹果 苹果 香蕉」是 3 词次、2 个不同词。占比用「该词出现次数 ÷ 总词次」计算。

Q:英文的大小写会合并吗?

A:会。统计前英文统一转小写,所以 Apple 和 apple 算同一个词。带连字符和撇号的词(如 e-mail、don't)会作为一个整体保留。

Q:我的文本会上传吗?

A:不会。分词和计数都在浏览器里完成,没有任何网络请求。