标签: Googlebot

  • 如何排查解决WordPress中的“Googlebot cannot access CSS and JS files”错误

    错误类型:
    其他错误
    错误名称:
    Googlebot不能访问CSS和JS文件
    英文名称:
    Googlebot cannot access CSS and JS files
    错误描述:
    由于Robots.txt规则限制,可能导致Googlebot不能访问CSS和JS文件。

    “Googlebot cannot access CSS and JS files”错误

    本文概述了如何解决WordPress网站的 “Googlebot cannot access CSS and JS files” 错误,即Googlebot无法访问CSS和JS文件。

    Google网站管理员工具提示包含指向有关如何修复错误的说明的链接,但这些说明对用户不是很友好。这就是为什么我将向您展示如何修复 “Googlebot cannot access CSS and JS files” 错误。

    "Googlebot cannot access CSS and JS files" 错误截图

    为什么Googlebot需要访问CSS和JS文件?

    回答问题的最佳方式始终是理解答案。

    Google更喜欢对用户友好的网站进行排名:加载速度快、提供良好用户体验等的网站。为了确定网站的用户体验,Google需要访问该网站的CSS和JavaScript文件

    默认的WordPress设置不会阻止搜索机器人访问任何CSS或JS文件。但是,一些网站所有者可能会在添加额外的安全措施(例如安全插件)后阻止搜索机器人。

    修复WordPress中的“Googlebot cannot access CSS and JS files”错误

    选项 1:手动编辑WordPress Robots.txt文件

    什么是WordPress Robots.txt?

    当机器人抓取您的网站并希望将其编入索引时,它们会首先按照您的robots.txt文件中的说明进行操作。

    该文件指导机器人索引或不索引您网站的任何页面。如果您正在运行WordPress,您将在根目录中找到Robots.txt文件

    如何为Googlebot编辑Robots.txt

    如果您想修复Googlebot无法访问CSS和JS文件错误,您的robots.txt文件应包含站点地图和其他一些项目

    WordPress Robots.txt文件很容易理解。

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/themes/
    Allow: /wp-includes/js/
    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/themes/
    Allow: /wp-includes/js/
    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/themes/
    Allow: /wp-includes/js/

    Disallow: /folder 表示该文件夹不会被Googlebot抓取。

    Allow: /folder 表示该文件夹将被Googlebot抓取。

    要修复WordPress中的“Googlebot无法访问CSS和JS文件”错误,您需要允许Googlebot抓取存储CSS和JS文件的文件夹。

    大多数情况下,删除以下行将解决问题: Disallow: /wp-includes/

    之后,保存您的robots.txt文件并上传。然后在Google工具中点击 “fetch and render”。现在比较fetch结果,你应该看到很多被阻塞的资源将不再被阻塞。

    某些用户可能会遇到他们的robots.txt文件为空或根本不存在的情况。如果发生这种情况,Googlebot会自动抓取所有文件并将其编入索引

    使用插件编辑Robots.txt文件

    (1)使用Yoast编辑robots.txt文件

    使用Yoast SEO制作或编辑robots.txt文件要容易得多。为此,请按照以下步骤操作。

    第 1 步:访问您的WordPress网站并登录。

    登录后,您的帐户将出现在您的“仪表盘”中。

    第 2 步:点击 “SEO” 选项卡。

    屏幕左侧有一个搜索栏。从该菜单中选择 “SEO”。

    第 3 步:然后,点击 “Tools”。

    您将在SEO设置中找到其他选项。点击 “Tools“。

    Yoast插件工具

    第 4 步:然后,点击 “File Editor”。

    Yoast文件编辑器

    您只需删除 “Disallow: /wp-includes/” 行并单击 “save changes to robots.txt”。

    使用Yoast编辑robots.txt文件 (2)使用SEOPress编辑robots.txt文件

    第 1 步:转到SEO选项卡。

    第 2 步:选中与机器人关联的绿色单选按钮。

    第 3 步:通过单击管理启用robots.txt虚拟文件。

    第 4 步:将您的robots.txt文件写入Virtual Robots.txt并保存。

    确保删除“Disallow:/wp-includes/ ”行

    如果您想查看您的robots.txt文件,请单击查看您的robots.txt或转到“yoursite.com/robots.txt”

    (3)使用Rankmath编辑robots.txt

    在Rankmath上,robots.txt文件是可编辑的,如下所示:

    使用Rankmath编辑robots.txt

    同样,需要删除 “Disallow: /wp-includes/” 行

    希望本文能帮助您修复WordPress网站上的 “Googlebot cannot access CSS and JS files” 错误。

    小结

    Robots.txt是网站控制搜索引擎蜘蛛访问权限的重要文件,您可以进一步深入了解Robots.txt。您也可以通过robots.txt工具,校验您的网站的robots.txt所包含的规则是否符合标准。

    “Googlebot cannot access CSS and JS files” 错误是件小事情,但如果未能及时处理,可能会导致您的网站被Google收录受限。幸运的是,通过上面的介绍,我们轻松解决问题!

  • 如何拦截Google和Bing访问您的网站?

    如何拦截Google和Bing访问您的网站?

    Google每天至少使用一次Googlebot抓取工具来抓取网页并将其编入索引。通常,抓取基于您在Google Search Console中提交的XML Sitemap。但是,与普通内容网站相比,新闻网站的抓取频率可能会发生变化并且速度会更快。同样,Bing也使用Bingbot爬虫来爬取页面。一方面,网站管理员希望Google和Bing立即索引他们的页面,另一方面,在某些情况下,您必须阻止这些爬虫来停止爬取整个网站或您网站上的某些页面。

    在本文中,我们将解释如何屏蔽Googlebot和Bingbot,屏蔽爬虫后会发生什么以及出现爬取问题的常见原因。

    拦截Googlebot和Bingbot

    根据您需要的严重程度,有多种方法可以阻止您的网页访问Google和Bing。

    1. 使用Robots.txt进行拦截

    阻止爬虫的最流行和最常见的方法是在robots.txt文件中使用指令。例如,插入以下行将拦截Google和Bing访问您网站上的页面。

    User-agent: Googlebot
    Disallow: /your-page-url
    User-agent: Bingbot
    Disallow: /your-page-url
    User-agent: Googlebot
    Disallow: /your-page-url
    User-agent: Bingbot
    Disallow: /your-page-url
    User-agent: Googlebot
    Disallow: /your-page-url
    User-agent: Bingbot
    Disallow:  /your-page-url

    尽管Google和Bing遵循robots.txt文件,但如果被阻止的页面是从另一篇已编入索引的文章链接的,它就不起作用。它可以来自您的网站,也可以来自您无法控制的外部网站。

    2. 使用.htaccess来阻止

    虽然不常见,但有些人更喜欢使用.htaccess指令来阻止爬虫。这类似于拦截Googlebot和Bingbot的IP地址,从而阻止对上述页面或目录的完全访问。

    RewriteEngine On
    RewriteCond %{REQUEST_URI} ^/your-page-url
    RewriteRule ^(.*)$ – [F,L]
    RewriteEngine On
    RewriteCond %{REQUEST_URI} ^/your-page-url
    RewriteRule ^(.*)$ – [F,L]
    RewriteEngine On
    RewriteCond %{REQUEST_URI} ^/your-page-url
    RewriteRule ^(.*)$ - [F,L]

    3. 拦截Googlebot和Bingbot IP地址

    上述方法的问题是您需要具有服务器访问权限才能编辑文件。此外,您在编辑robots.txt和.htaccess文件时也可能会出错。另一种有效的选择是使用阻止Googlebot和Bingbot IP地址。GoogleBing为爬虫提供更新后的IP地址,您可以将其用于阻止目的。这些IP地址采用JSON格式,您需要从中提取IP范围并使用。请记住,这些是用于Googlebot和Bingbot搜索爬虫,而不是用于其他目的,例如AdSense爬虫或Microsoft广告爬虫。

    使用主机面板

    如果您有服务器访问权限,则可以使用主机面板中提供的IP Blocker工具。例如,HostGator在其cPanel的“SECURITY”部分下提供了一个名为IP Deny Manager的“IP Blocker”应用程序。

    HostGator cPanel中的IP拦截器

    HostGator cPanel中的IP拦截器

    您可以在所有cPanel托管公司中找到类似的工具,例如Bluehost。单击IP Blocker应用程序并提供Googlebot或Bingbot的IP范围以拦截访问。例如,您可以使用以下方法之一提供Googlebot IP地址:

    • 使用JSON文件中给出的CIDR格式,如 66.249.64.0/27。
    • 隐含的IP范围,如 66.249.66.0-255
    • 通配符范围如 66.249.*.*
    • 只需输入googlebot.com,因为大多数Goolgebot用户代理都来自此主机名。

    在cPanel中拦截Googlebot和Bingbot

    在cPanel中拦截Googlebot和Bingbot

    通常,拦截一个或几个IP地址就足以拦截访问。但是,您可以使用通配符或主机名来阻止整个访问。

    使用WordPress插件

    否则,如果您使用的是WordPress之类的内容管理系统,那么您有很多安全插件可以拦截来自站点管理员面板的机器人和IP地址,而无需访问托管帐户。例如,SiteGround Security插件允许您监控网站的实时流量。您可以根据用户代理名称找到Googlebot和 Bingbot IP地址,并在管理面板中单击几下即可阻止。

    在SiteGround安全插件中拦截IP

    在SiteGround安全插件中拦截IP

    这些是有效的方法,尤其是当您想拦截Google和Bing访问您的整个网站时。

    您还可以使用蜘蛛统计分析插件,通过插件的蜘蛛拦截功能来对Google和Bing蜘蛛进行拦截,您可以通过IP或者蜘蛛名进行快速拦截。

    蜘蛛统计分析插件概览

    该插件同时还具备网站搜索引擎蜘蛛爬取数据统计,页面爬取日志查看,蜘蛛访问路径等功能,属于WordPress站长必不可少的SEO辅助插件。

    4. 隐藏授权页面

    这对于通过设置权限来限制搜索引擎对页面的访问非常有用。例如,银行和会员网站将个性化内容隐藏在登录授权后面,这样搜索引擎就无法访问这些内容。基于内容的机密性,您可能需要应用防火墙、阻止用户配置文件等。强烈建议聘请开发人员并在所需目录级别正确设置限制,以便Google不会抓取禁止部分。

    控制爬行速率或爬行频率

    如果您发现Googlebot和Bingbot对服务器资源的消耗较高,您可以控制抓取速度或抓取频率。抓取速度是Googlebot或Bingbot每秒发出的从您的网站获取内容的请求数。对于高流量网站,控制爬虫程序的爬取速度对于调整服务器资源至关重要。详细了解如何在Bing网站管理员工具中更改Bingbot的抓取速度

    但是,Google会自动使用优化的抓取速度从您的网站抓取内容。您可以从Google Search Console帐户查看此内容。如果您对当前的抓取频率不满意,请向Google提出特殊要求。新的抓取速度将在接下来的90天内有效,并在该期限后重置为优化设置。详细了解为什么您应该控制Googlebot抓取速度

    拦截Googlebot和Bingbot时会发生什么?

    当您阻止页面或站点URL时,您将分别在Google Search Console和Bing网站管理员工具中看到不同类型的错误。以下是您会在Search Console帐户中注意到的一些常见错误:

    • 当您使用robots.txt指令时,URL被Robots.txt阻止。
    • 带有类似“提交的URL似乎是一个软404”的404错误消息 。
    • 部分抓取或页面没有内容错误。

    如果管理您网站的人错误地阻止了您网站上的页面,您可以检查“覆盖范围”部分下的Google Search Console错误并修复它们。

    但是,在拦截IP或使用.htaccess方法时,您可能不会发现问题。简单的方法是使用Google Search Console中的URL检查工具、Google PageSpeed Insights或移动友好的测试工具来测试是否可以抓取实时页面。当Googlebot被阻止访问该页面时,您将看到错误和呈现的空白页面。

    小结

    您可以使用上述方法之一来拦截Googlebot和Bingbot抓取您的网站。但是,请确保在阻止您网站的特定页面或部分时避免错误。特别是,拦截IP地址是最危险的操作,它会将您的网页从Google搜索中完全删除。您可能需要重新提交页面并等待重新索引,这可能会导致流量下降,从而导致收入下降。因此,如果您不确定如何拦截Googlebot和Bingbot,请与您的托管公司联系。或者,聘请开发人员进行自定义开发工作,例如将机密内容隐藏在授权后面。