robots.txt编写完整指南：从零开始掌握网站爬虫规则

📍 WDQWDWQD987AAAAA:40.77.167.38
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36
🔗 /6437b49f21ef.html
📄

robots.txt 是网站与搜索引擎爬虫之间的第一份“君子协定”。正确编写 robots.txt，既能引导爬虫高效抓取核心内容，又能避免敏感页面被收录。本文围绕 robots.txt 编写展开，帮助你从零掌握关键规则。

robots.txt 编写的基本结构

一个标准的 robots.txt 文件由若干条记录组成，每条记录以 User-agent 开头，后跟 Allow 或 Disallow 规则。编写时需注意：文件必须放在网站根目录，文件名全部小写，且每行只写一条指令。

• User-agent：指定规则适用的爬虫，如 Baiduspider、Googlebot，星号代表所有爬虫。
• Disallow：禁止爬虫访问的路径，斜杠表示整个站点。
• Allow：允许访问的路径，常用于覆盖更宽泛的禁止规则。
• Sitemap：声明网站地图地址，便于爬虫发现页面。

编写 robots.txt 的常见场景

不同网站需求不同，robots.txt 编写策略也应灵活调整。例如，电商网站可禁止爬虫抓取购物车、结算页；内容站点可开放文章目录，屏蔽后台管理路径。以下是一个基础示例：

1. User-agent: *
2. Disallow: /admin/
3. Disallow: /cart/
4. Allow: /
5. Sitemap: https://www.example.com/sitemap.xml

需要强调：robots.txt 只是建议，并非强制安全措施。若要真正保护私密内容，应使用登录验证或密码保护，而不是依赖 robots.txt 编写。

robots.txt 编写的注意事项

编写 robots.txt 时，务必注意路径大小写、通配符支持和规则优先级。Allow 与 Disallow 冲突时，通常更具体的规则优先。此外，避免使用 Disallow: / 屏蔽全站，否则搜索引擎将无法收录任何页面。定期使用百度搜索资源平台或 Google Search Console 的 robots.txt 测试工具验证规则，确保编写无误。

掌握以上要点，你就能完成一份规范的 robots.txt 编写，让爬虫与网站和谐共处。