蜘蛛抓取模拟

搜索引擎会使用特定 User Agent 抓取网页内容，若被 WAF、访问控制或重定向策略影响，就可能出现收录异常。本工具模拟 Googlebot、Baiduspider 等主流蜘蛛发起请求，展示实际返回状态、页面标题与 robots 指令，帮助你确认是否存在对爬虫不友好的配置。

建议在发布新页面、配置防火墙策略或启用 CDN 后进行抓取模拟，避免被错误拦截导致收录下降。