🤖 robots.txt 生成器

什么是 robots.txt 生成器？

robots.txt 生成器是一款帮助网站管理员快速生成标准 robots.txt 文件的在线工具。robots.txt 是网站根目录下的纯文本文件，遵循 Robot Exclusion Protocol（REP）标准，用于告知网络爬虫（如 Googlebot、Bingbot）哪些页面或目录可以抓取，哪些应该被禁止访问。正确配置 robots.txt 对 SEO 至关重要——它可以防止搜索引擎索引敏感目录（如 /admin、/api）、避免重复内容被收录、控制爬虫抓取频率以减轻服务器压力。一个配置不当的 robots.txt 可能导致重要页面被排除在搜索结果之外，严重影响网站流量。本工具提供可视化界面，通过勾选和填写表单即可生成符合标准的 robots.txt 内容，同时提供常用模板（WordPress、Shopify、Next.js 等）。

如何使用 robots.txt 生成器

1. 步骤一：选择预设模板或自定义 — 根据网站类型选择预设模板（WordPress、React、静态站点等），或从零开始自定义规则。模板会自动包含该类型站点的最佳实践配置。
2. 步骤二：配置爬取规则 — 添加 User-agent（指定爬虫名称，* 表示所有爬虫）、Disallow 规则（禁止访问的路径）、Allow 规则（在 Disallow 范围内特别允许的路径）。
3. 步骤三：添加 Sitemap 并下载 — 填写 XML Sitemap 的完整 URL，帮助搜索引擎发现所有可索引的页面。预览生成结果后，下载 robots.txt 文件上传到网站根目录。

常见使用场景

技术原理

robots.txt 的语法由 IETF RFC 9309 标准定义。每条规则由 User-agent、Disallow、Allow 指令组成。路径匹配支持通配符 *（匹配任意字符序列）和 $（表示行尾）。爬虫在抓取网站前会先请求根目录的 robots.txt，解析其中的规则后决定是否抓取特定 URL。注意：robots.txt 只是"请求"而非"强制"，恶意爬虫可能无视这些规则。

# 标准 robots.txt 示例
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /search?q=
Allow: /api/public/

# 指定 Sitemap 位置
Sitemap: https://example.com/sitemap.xml

# 设置爬取延迟（部分爬虫支持）
Crawl-delay: 10

# 针对特定爬虫的规则
User-agent: Googlebot
Allow: /
Disallow: /private/

最佳实践与注意事项

• robots.txt 必须放在网站根目录（https://example.com/robots.txt），其他位置无效。
• 不要使用 robots.txt 屏蔽敏感信息——它只是君子协定，不能替代真正的访问控制（如认证和密码）。
• 被 robots.txt 屏蔽的页面如果仍被其他网站链接，搜索引擎可能仍然会索引该 URL（只是不抓取内容），此时应使用 noindex meta 标签。
• 每次修改 robots.txt 后使用 Google Search Console 的 robots.txt 测试工具验证配置。

常见问题