RB

robots.txt 生成器

UA 分组规则 + 四种模板 + 语法校验 + 下载


                

如何使用本工具

  1. 按表单填 User-agent 与路径规则,每行一条;右侧实时生成标准 robots.txt,语法问题会直接在下方列出。
  2. 「允许全部」的正确写法是 `Disallow:` 后面留空,而不是 `Allow: /`,生成器已经按规范处理。
  3. 四条模板覆盖最常见的场景,点一下就能改;Sitemap 必须写完整 URL,不能写相对路径。
  4. 确认无误后下载 robots.txt,上传到网站根目录(https://域名/robots.txt)才会生效。

常见问题

Q:robots.txt 能阻止页面被收录吗?

A:不能。它只是告诉守规矩的爬虫「别抓这些路径」,本身不是权限控制,恶意爬虫完全可以不理。真正禁止收录要用 noindex 响应头或 meta 标签,敏感内容则要做好鉴权。

Q:Allow 和 Disallow 冲突时谁优先?

A:主流爬虫按「最长匹配规则」来判,相同长度时 Allow 优先。所以 `/api/` 被 Disallow 的同时可以再 Allow `/api/public/`。但不同爬虫实现有细微差异,别把关键逻辑押在这上面。

Q:Crawl-delay 所有搜索引擎都认吗?

A:不是。Google 明确不支持 Crawl-delay,抓取频率要在 Search Console 里调;Bing、Yandex、百度等支持。写大了不会报错,只是对不支持的引擎无效。

Q:Sitemap 指令该放在哪?

A:它是全局指令,不属于任何 User-agent 组,规范允许放在文件任意位置。生成器统一放在末尾并用空行隔开,可读性最好。

Q:为什么路径必须以 / 开头?

A:robots.txt 的路径匹配是相对站点根的路径,写 `admin/` 会被当成非法规则忽略。支持通配符 `*` 和结尾 `$`,比如 `/*.pdf$` 表示所有 PDF 文件。