robots.txt 生成工具

选择搜索引擎的允许/拒绝规则，自动生成 robots.txt 并下载

搜索引擎规则

生成结果

Sitemap (可选)

生成后请保存为 robots.txt 并上传到网站根目录。

使用说明

为不同搜索引擎选择“允许”或“拒绝”规则，可一键全选。
如有站点地图，填写 sitemap 地址后一起生成。
点击生成后复制或下载 robots.txt，并上传到网站根目录。

常见问题

Q: Allow 与 Disallow 有什么区别？

A: Allow:/ 表示允许抓取全部路径，Disallow:/ 表示禁止抓取全部路径。

Q: 需要同时写 “*” 吗？

A: 可以用 “User-agent: *” 写通用规则，再对特定爬虫单独设置。

Q: 为什么要放在根目录？

A: 这是 robots 协议要求，搜索引擎仅从站点根目录读取 robots.txt。