AWS代付、代实名
阿里云国际 | 腾讯云国际

Robots / Sitemap 校验

检查 robots.txt 是否可访问，并验证 Sitemap 抓取状态

检测目标

自动定位 robots.txt 文件
自动解析 Sitemap 并校验抓取可用性
适合排查 SEO 收录异常与抓取失败
准备就绪

使用说明

robots.txt 决定搜索引擎能否抓取指定目录与页面，而 Sitemap 则帮助搜索引擎更快发现站点内容。若 robots.txt 返回异常、设置了全站拒绝，或 Sitemap 无法访问，就会导致收录延迟甚至被排除。本工具会自动访问 robots.txt 并解析其中的 Sitemap，再对每个 Sitemap 发起可用性校验，帮助你快速发现抓取障碍。

建议在发布新站点、调整目录结构或更换 CDN 后进行校验，并结合 HTTP 状态码与 DNS 工具排查可能的访问或解析问题。

常见问题

robots 不是 200 怎么办？
确认源站是否存在 robots.txt 或被缓存策略拦截。
没有 Sitemap 会怎样？
不影响抓取但会降低收录效率，建议补充。
Sitemap 状态异常？
检查是否跨域、权限限制或返回 403/404。
会保存检测记录吗？
不会，检测仅即时使用。