NG

N-gram 切分

字符或词组任你切,频次实时统计


            

如何使用本工具

  1. 粘贴文本或点「载入示例」,选按字符还是按词切分。
  2. 设置 n 值:2 是 bigram(二元),3 是 trigram(三元),最多 8。
  3. 按字符模式可转小写、压缩空白;按词模式可过滤英文停用词。
  4. 右侧按出现次数排序列出所有片段,重复越多的片段颜色越深。
  5. 点「复制片段序列」得到用竖线分隔的原始片段列表。

常见问题

Q:N-gram 是什么?

A:N-gram 是文本里连续 n 个单元组成的片段。按字符时,「工具箱」的 2-gram 是「工具」「具箱」;按词时,「在线 工具 箱」的 2-gram 是「在线 工具」「工具 箱」。它广泛用于语言模型、拼写检查、文本分类和搜索相关性排序。

Q:按字符和按词有什么区别?

A:按字符切分不依赖分词,中文、英文、符号都一视同仁,适合做字符级模型或处理混合文本;按词切分先按中英文词汇切分再组 n 元,语义单元更完整,适合检索和关键词分析。中文按词用的是简单正则切分,不是专业分词器。

Q:n 值怎么选?

A:n=1(unigram)就是词频或字频;n=2、3 能捕捉常见搭配;n 越大片段越具体、数据也越稀疏。做文本分类常用 1~3,做语言模型可能用到 5。工具限制 1~8,避免生成过多片段。

Q:「压缩空白」和「保留空白」怎么配合?

A:默认压缩空白会把连续空白合并成一个空格;勾选「保留空白」则连空格也当作字符纳入片段。做中文字符 n-gram 时通常要压缩空白并去掉空白,避免空格占据片段位置;做英文字符模型时可能需要保留空格来区分单词边界。

Q:停用词过滤只在按词模式生效吗?

A:是的。按字符模式没有「词」的概念,无法过滤停用词,该选项只对按词模式生效。过滤掉 the、and、of 这类高频虚词后,剩下的 n-gram 更能反映文本主题。

Q:数据会上传吗?

A:不会。切分、计数和排序都在浏览器里完成,没有任何网络请求。