检查 robots.txt、元机器人、带有 URL 警报的 x-robots-tag。规范警告、HTTP 标头信息。 SEO 扩展，机器人测试仪。
机器人排除检查器旨在直观地指示是否有任何机器人排除阻止您的页面被搜索引擎抓取或编制索引。
## 该扩展报告了 6 个元素：
1.机器人.txt
2.元机器人标签
3. 人工智能机器人
4.X-机器人标签
5.Rel=规范
6. UGC、Sponsored 和 Nofollow 属性值
- 机器人.txt
如果您正在访问的网址受到 robots.txt 中“允许”或“禁止”的影响，扩展程序将向您显示扩展程序中的特定规则，以便您轻松复制或访问实时 robots.txt。您还将看到完整的 robots.txt，其中突出显示了特定规则（如果适用）。酷诶！
- 元机器人标签
任何引导机器人“index”、“noindex”、“follow”或“nofollow”的机器人元标记都将标记相应的红色、琥珀色或绿色图标。不会影响搜索引擎索引的指令（例如“nosnippet”或“noodp”）将显示，但不会纳入警报中。该扩展使您可以轻松查看所有指令，并完整显示源代码中出现的任何 HTML 元机器人标签。
- 人工智能机器人
检查网站的 robots.txt 文件是否阻止人工智能公司访问其内容。它监控 OpenAI、Anthropic、Google、Perplexity、Meta 和 Apple 等 6 家公司的 14 个机器人，涵盖三种访问类型：训练数据收集、搜索索引和实时浏览。如果检测到任何机器人排除项，浏览器中的机器人排除检查器图标上方将显示“AI”标签。如果愿意，可以在设置中停用此功能。
- X-机器人标签
过去在 HTTP 标头中发现任何机器人指令有点麻烦，但有了这个扩展就不再那么麻烦了。任何特定的排除项以及完整的 HTTP 标头都将非常明显 - 特定的排除项也会突出显示！
- 规范标签
尽管规范标签不会直接影响索引，但它仍然会影响 URL 在 SERPS（搜索引擎结果页）中的行为方式。如果您正在查看的页面允许机器人访问，但检测到规范不匹配（当前 URL 与规范 URL 不同），则扩展程序将标记一个琥珀色图标。从 HTML <head> 和 HTTP 标头响应中收集每个页面上的规范信息。
- UGC、赞助和 Nofollow
该扩展的新增功能使您可以选择突出显示使用“nofollow”、“ugc”或“赞助”rel 属性值的任何可见链接。您可以控制突出显示哪些链接并为每个链接设置您喜欢的颜色。我希望您希望禁用此功能，您可以完全关闭。
## 用户代理
在设置中，您可以选择以下用户代理之一来模拟每个搜索引擎有权访问的内容：
1. 谷歌机器人
2.Googlebot新闻
3.必应
4.雅虎
＃＃ 好处
该工具对于从事搜索引擎优化 (SEO) 或数字营销工作的任何人都非常有用，因为它可以清晰地显示页面是否被 robots.txt 阻止（许多现有扩展程序不会标记这一点）。抓取或索引问题对您的网站在有机结果中的表现有直接影响，因此此扩展程序应该成为您的 Google Chrome SEO 开发人员工具包的一部分。一些在线可用的常见 robots.txt 测试程序的替代方案。
此扩展适用于：
- 分面导航审查和优化（有助于查看复杂/堆叠分面背后的机器人控制）
- 检测抓取或索引问题
- 浏览器内的一般 SEO 审查和审核
## 避免需要多个 SEO 扩展
在机器人和索引领域内，没有更好的扩展可用。事实上，通过安装机器人排除检查器，您将避免在 Chrome 中运行多个扩展程序，从而降低其功能。
类似的插件包括：
不关注
https://chrome.google.com/webstore/detail/nofollow/dfogidghaigooomjdeacndafapdijmiid
看见机器人
https://chrome.google.com/webstore/detail/seerobots/hnljoiodjfgpnddiekagpbblnjedcnfp
NoIndex、NoFollow 元标记检查器
https://chrome.google.com/webstore/detail/noindexnofollow-meta-tag/aijcgkcgldkomeddnlpbhdelcpfamklm
变更日志：
1.0.2：修复了 URL 更新后阻止元机器人更新的错误。
1.0.3：各种错误修复，包括更好地处理带有编码字符的 URL。 Robots.txt 扩展功能允许查看超长规则。现在兼容 JavaScript History.pushState()。
1.0.4：各种升级。添加了带有琥珀色图标警报的规范标签检测（HTML 和 HTTP 标头）。 Robots.txt 现在完整显示，并突出显示相应的规则。 X-robots-tag 现在在完整的 HTTP 标头信息中突出显示。各种用户体验改进，例如“复制到剪贴板”和“查看源代码”链接。添加了社交共享图标。
1.0.5：当扩展检测到 URL 更改但没有新的 HTTP 标头信息时，强制后台 HTTP 标头调用 - 主要适用于严重依赖 JavaScript 的网站。
1.0.6：修复了进行规范检查时 URL 的哈希部分的问题。
1.0.7：除了 HTTP 标头之外，还强制执行后台正文响应调用，以确保 JavaScript 密集型网站的 URL 的非缓存视图。
1.0.8：修复了在 robots.txt 文件中检测到对同一用户代理的多个引用时发生的错误。
1.0.9：修复了规范不匹配警报的问题。
1.1.0：各种 UI 更新，包括当扩展程序检测到 URL 更改而没有新的 HTTP 请求时发出 JavaScript 警报。
1.1.1：添加了元机器人用户代理规则冲突的附加逻辑。
1.1.2：添加了德语用户界面。
1.1.3：添加了 UGC、赞助和 Nofollow 链接突出显示。
1.1.4：在新安装时默认关闭 nofollow 链接突出显示，并修复了与 HTTP 标头规范不匹配相关的错误。
1.1.5：修复了错误以改进 robots.txt 解析器。
1.1.6：扩展现在将 404 错误标记为红色。
1.1.7：在发出后台请求以获取使用pushstate导航到的页面时不发送cookie。
1.1.8：改进了相对与绝对规范 URL 和未编码 URL 消息传递的处理。
1.2.0.11：更新到 Google 新的清单 V3 并修复小错误。
1.2.0.12：添加了西班牙语版本并对现有翻译进行了改进。链接到新网站 https://www.checkrobots.com
1.2.0.13：修复了pushState导航数据提取，解决了图标显示不一致的问题，并添加了安全保护以防止企业网站出现注销问题。
1.3.0：引入了 AI 机器人检查，以监控 OpenAI、Anthropic、Google、Perplexity、Meta 和 Apple 等 6 家公司的 14 个机器人的 robots.txt 排除规则，并跟踪培训、搜索索引和实时浏览机器人。新的站点排除功能可让您跳过对特定域的检查。修复了 SPA/后退导航、Bingbot 和 Yahoo 的 x-robots-tag 区分大小写的问题，并改进了允许/禁止规则优先级。重新设计的设置页面包含可折叠部分。
发现错误或想提出建议？请发送电子邮件至分机@samgipson.com
