Robots Exclusion Checker
插件介绍
检查机器人.txt，meta机器人，带有URL警报的X机器人标签。规范警告，HTTP标头信息。 SEO扩展程序，机器人测试仪。
机器人排除检查器旨在在视觉上指示是否有任何机器人排除在于您的页面被搜索引擎爬行或索引。
##扩展名报告5个要素：
1。Robots.txt
2。元机器人标签
3。X-Robots-Tag
4。rel =规范
5。UGC，赞助和NoFollow属性值
-obots.txt
如果您正在访问的URL受到robots.txt中的“允许”或“禁止”的影响，则扩展程序将向您显示扩展程序中的特定规则，从而易于复制或访问live robots.txt。还将向您显示完整的robots.txt，并突出显示特定规则（如果适用）。酷！
- 元机器人标签
任何机器人都将机器人引导到“索引”，“ noindex”，“遵循”或“ nofollow”的机器人标签都将标记适当的红色，琥珀色或绿色图标。不会影响搜索引擎索引的指令，例如“ nosnippet”或“ noodp”，但不会纳入警报。该扩展程序使查看所有指令变得易于查看，并向您显示所有出现在源代码中的HTML Meta机器人标签。
- X-Robots-Tag
在HTTP标头中发现任何机器人指令过去一直很痛苦，但不再使用此扩展名。任何具体的排除都将变得非常可见，以及完整的HTTP标头 - 也突出显示了特定的外套！
- 规范标签
尽管规范标签不会直接影响索引，但它仍然会影响您的URL在SERP中的行为方式（搜索引擎结果页面）。如果您要查看的页面被允许到机器人，但是已经检测到规范的不匹配（当前URL与规范URL不同），则扩展名将标记琥珀色图标。从HTML <head>和HTTP标头响应中收集每个页面上的规范信息。
- UGC，赞助和诺福特
扩展程序的新添加使您可以选择突出显示使用“ nofollow”，“ UGC”或“赞助” rel属性值的所有可见链接。您可以控制突出显示哪些链接，并为每种链接设置您的首选颜色。我希望这是禁用的，您可以完全关闭。
##用户代理
在设置中，您可以选择以下用户代理之一来模拟每个搜索引擎可以访问的内容：
1。Googlebot
2。GooglebotNews
3。bing
4。雅虎
＃＃ 好处
该工具对于从事搜索引擎优化（SEO）或数字营销中工作的任何人都会有用，因为它可以清楚地显示页面是否被robots.txt阻塞（许多现有的扩展名不标记此页面）。爬网或索引问题直接取决于您的网站在有机效果方面的表现，因此该扩展名应该是Google Chrome的SEO开发人员工具包的一部分。在线提供的一些常见机器人的替代方案。
此扩展对于：
- 方面的导航审查和优化（可用于查看复合物 /堆叠面背后的机器人控制）
- 检测爬网或索引问题
- 浏览器中的一般SEO审查和审核
##避免需要多个SEO扩展
在机器人和索引领域内，没有更好的扩展名。实际上，通过安装机器人排除检查器，您将避免在Chrome中运行多个扩展，从而减慢其功能。
类似的插件包括：
nofollow
https://chrome.google.com/webstore/detail/nofollow/dfogidghaigoomjdecndafapdijmiid
Seerobot
https://chrome.google.com/webstore/detail/seerobots/hhnljoiodjfgpndiekagpbblnjedcnfp
noindex，nofollow meta标签检查器
https://chrome.google.com/webstore/detail/noindexnofollow-meta-tag/aijcgkcgcgcgldkoldkomeddnlpbhdelcpfamklm
ChangElog：
1.0.2：修复了一个错误，以防止URL更新后更新元机器人。
1.0.3：各种错误修复，包括更好地处理具有编码字符的URL。 robots.txt扩展功能，允许查看超长规则。现在JavaScript history.pushstate（）兼容。
1.0.4：各种升级。添加了带有琥珀色图标警报的规范标签检测（HTML和HTTP标头）。 Robots.txt现在已完整显示，并突出显示适当的规则。现在，在完整的HTTP标头信息中突出显示了X机器人标签。各种UX改进，例如“复制到剪贴板”和“查看源”链接。添加了社交共享图标。
1.0.5：强迫背景HTTP标头调用当扩展检测到URL更改时，但没有新的HTTP标头信息 - 主要用于严重依赖JavaScript的站点。
1.0.6：在执行规范检查时修复了URL哈希部分的问题。
1.0.7：强迫背景主体响应呼叫，除了HTTP标头外，还可以确保对JavaScript重型站点的URL视图。
1.0.8：修复了当在robots.txt文件中检测到对同一用户代理的多个引用时发生的错误。
1.0.9：修复了规范不匹配警报的问题。
1.1.0：各种UI更新，包括扩展名检测到没有新HTTP请求的URL更改时的JavaScript警报。
1.1.1：添加了其他逻辑元机器人用户代理规则冲突。
1.1.2：添加了德语UI。
1.1.3：添加了UGC，赞助和Nofollow链接突出显示。
1.1.4：默认情况下关闭NoFollow链接突出显示新安装，并修复了与HTTP标头规范不匹配有关的错误。
1.1.5：错误修复以改善robots.txt解析器。
1.1.6：扩展名现在标记为红色错误。
1.1.7：在提出背景请求以获取使用PushState导航的页面时，请勿发送cookie。
1.1.8：对处理相对与绝对规范URL和未编码URL消息的改进。
1.2.0.11：更新到Google的新清单V3并修复小错误。
1.2.0.12：添加了西班牙语版本，并改进了现有翻译。链接到新网站https://www.checkrobots.com
1.2.0.13：固定的PushState导航数据提取，解决的不一致图标显示以及添加的安全保护措施，以防止企业网站注销问题。
找到一个错误还是想提出建议？请通过电子邮件发送 @ samgipson.com
