词频统计
中英文一起统计,停用词和词组都能配
中文用内置词典做正向最大匹配,不依赖后端分词服务。
如何使用本工具
- 把要分析的文本粘贴到左侧,中英文混排也可以,或点「载入示例」。
- 勾选要统计的语言;中文用内置词典做正向最大匹配,英文按单词切分。
- 打开「过滤停用词」去掉「的、了、the、and」这类高频无意义词。
- 需要看短语时把 n-gram 切到 2 或 3,并按最小词长过滤短词。
- 右侧按出现次数降序排列,带占比和频率条,点「复制结果」得到词与次数的 TSV。
常见问题
Q:中文分词准吗?
A:工具用内置的小型常用词表做正向最大匹配,优先切 3 字词、再切 2 字词,没命中的按单字切。它适合看大致的高频词和关键词,但不是专业分词器,人名、地名、新词、专业术语可能被切开。要精确分词请用 jieba 这类专业库。
Q:停用词表能改吗?
A:页面内置了常见的中英文停用词,取消勾选「过滤停用词」就不启用。工具是纯前端的,没有提供更细的自定义词表界面,如果需要特定领域的停用词,建议统计后手动忽略相关行。
Q:n-gram 是什么?
A:n-gram 就是把连续的 n 个词当成一个单元统计。比如「在线 工具 箱」的 2-gram 是「在线工具」「工具箱」。它能发现单词频率看不出的短语搭配,常用于关键词提取、文本分类和搜索建议。
Q:词次和不同词数有什么区别?
A:词次是所有词出现的总次数(同一个词出现 10 次就记 10),不同词数是去重后的词种数量。比如「苹果 苹果 香蕉」是 3 词次、2 个不同词。占比用「该词出现次数 ÷ 总词次」计算。
Q:英文的大小写会合并吗?
A:会。统计前英文统一转小写,所以 Apple 和 apple 算同一个词。带连字符和撇号的词(如 e-mail、don't)会作为一个整体保留。
Q:我的文本会上传吗?
A:不会。分词和计数都在浏览器里完成,没有任何网络请求。