博客

您可能已经读过Google在其算法中使用了200个排名因素。幸运的是，您无需掌握全部200项即可成功使用SEO。事实上，您最好了解影响最大的一小部分排名因素。

以下是谷歌排名算法中最重要的13个排名信号。

1. 内容质量

优质内容是最终的排名因素。

您可以拥有一个针对SEO进行了完美优化的网站。但是，如果您的内容很臭，它根本就不会排名。

问题是：

谈到 SEO，“优质内容”是什么样的？

彻底

谷歌想要完全回答某人查询的内容。

这可能就是为什么一项行业研究发现较长的内容排在较短的内容之上的原因：

因此，请确保您的内容是彻底和完整的。

有用

换句话说：

当用户决定进行Google搜索时，您的内容是否满足用户的需求？

例如，假设您搜索“Crossfit exercises”。

一篇列出17种Crossfit练习的文章比一篇关于为什么Crossfit练习对减肥有好处的评论有用得多。

因此，请确保您的内容非常有用。

结构化

最后，对SEO友好的内容是高度结构化的。

为什么这很重要？

首先，结构良好的内容易于阅读。这意味着用户可以更快地获得问题的答案。

其次，将您的内容组织成多个部分有助于Google了解您的内容的全部内容。

因此，请确保您的内容结构合理且条理清晰。

2. 内容唯一性

拥有大量详尽、有用和结构化的内容是一回事。

但如果它反刍已经存在的信息，它的排名可能不会很好。

（毕竟，谷歌的索引中已经有包含相同信息的内容。他们为什么要把你的排在上面呢？）

这就是为什么您的内容需要与第 1 页上的内容不同或更好的原因。

当你这样做时，你将在竞争中获得巨大的优势。

例如，下面这篇语音搜索指南，当网络上没有其他类似的东西：

该内容提供了其他内容所没有的价值，它就有可能且很大机会在搜索引擎排名获得极大的竞争力（如“语音搜索”）：

3. 完全可爬取的页面

如果您想排名，搜索引擎可以完全抓取和索引您页面上的内容是非常重要的。

换句话说：

如果搜索引擎被阻止访问该页面（例如，从Robots.txt），它们根本不会索引该页面。

如果他们无法访问您页面的某些部分，那也会损害您的搜索引擎可见性。

您可以使用Google Search Console中的“URL检查”功能轻松检查您的页面是否可供搜索引擎完全访问：

4. 移动优化网站

谷歌曾表示：

“提供糟糕搜索体验的移动页面可能会在排名中降级或在移动搜索结果中显示警告。”

换句话说：

要在2022年排名，您的网站需要在任何设备上运行良好。

（台式机、手机、平板电脑和电视）

幸运的是，谷歌创建了一个名为“ Mobile-Friendly Test ”的漂亮的免费工具。

它会告诉您您的页面是否针对移动设备进行了优化……

……关于修复它的具体建议。

5. 反向链接数

反向链接就像来自另一个网站的投票。

必应和谷歌等搜索引擎会衡量这些选票。他们使用它们来确定哪些页面应该排在前10名。

页面获得的反向链接越多，它在搜索引擎中的排名就越高。

6. 域名权重

直接指向页面的链接将有助于该页面更好地排名。

但这些链接也有助于提升您网站的整体域名权重，这是您网站的整体权重。

您的域名权重越高，您网站上所有页面的排名就越好。

提升您的域名权重的最佳方法是创建一个很棒的站点。

7. 锚文本

谷歌使用锚文本来确定页面是关于什么的。

例如，最近有人使用锚文本链接到我的网站：“反向链接”

这个锚文本告诉谷歌：“其他人正在使用‘反向链接’锚文本链接到这个页面。这个页面必须是关于反向链接的。”

8.网站加载速度

您网站的加载速度是一个非常重要的排名因素。

（尤其是您的页面在移动设备上的加载速度）

事实上，谷歌甚至已经出来说“页面速度是移动搜索的排名因素”。

9. 关键字使用

我会在这里听起来像明显的船长，但请和我在一起：

如果您想对某个关键字进行排名，则需要在您的页面上使用该关键字。

否则，Google不会知道您的网页是关于该关键字的。

例如，这是我网站上围绕“链接建设”优化的页面

如您所见，我在我的内容中多次使用了关键字“链接建设”。

（我还应该指出，我不会过度使用我的关键字100次。这就是所谓的“关键字堆砌”，这可能会与您的SEO工作背道而驰）。

要记住的另一件事：

您不需要每次都使用确切的关键字。事实上，在内容中包含主要关键字的变体是明智的。

例如，如果您的关键字是“Paleo Desserts”，您还需要使用“Paleo Diet Desserts”和“Paleo Cookies”等术语：

10. Google RankBrain

RankBrain是Google算法的AI部分。

RankBrain有多重要？

好吧，谷歌已经确认RankBrain是他们的“前三名”排名因素之一：

RankBrain的主要工作是找出搜索者想要什么……并为他们提供该搜索的最佳结果。

因为RankBrain是一种机器学习算法，所以它在不断变化。这使得优化变得棘手。

所以我的建议是这样的：

对RankBrain进行“优化”的最佳方式是创建让搜索者满意的精彩内容。

11. 搜索意图匹配

您的内容是否符合搜索者在那个特定时刻想要的内容？

如果是这样，您会发现自己的排名大幅提升。

这是因为谷歌正试图降低传统的排名因素（如关键字和链接），以支持回答以下问题的排名因素：“这些内容是否为搜索者提供了他们正在寻找的东西？”。

事实上，谷歌雇佣了数千名“质量评估者”来衡量搜索结果满足搜索意图的程度。

举个例子怎么样？

假设您刚刚搜索了“链接构建”。

Google会密切监控您与搜索结果的交互方式。

例如，如果您从第一个结果中单击并迅速返回到搜索结果，则强烈表明该结果并没有让您满意。

（围绕结果弹跳的行为称为“ Pogosticking ”）

但是如果你点击一个结果并得到你想要的结果，谷歌就会将该结果推到顶部。

12. 内容新鲜度

谷歌不想对过时的东西进行排名。

这就是为什么您可能已经注意到全新内容获得临时排名提升的原因：

（通常一两天）

也就是说，“新鲜度”在您的内容上线几周或几个月后仍然很重要。

具体来说，Google希望看到您的内容仍然具有相关性并且是最新的。

例如，假设您刚刚发布了大量的iPhone购买指南。

好吧，除非您定期更新该内容，否则它很快就会过时。

谷歌直接衡量新鲜度（他们检查内容是否在您发布后更新……以及多久更新一次。）

但他们也使用用户体验信号来查看人们是否开始以不同的方式与您的内容进行交互（例如，他们注意到人们立即开始从页面跳出）。

这就是为什么定期更新内容以保持新鲜很重要的原因。

但即使您不在SEO等快速变化的行业，我仍然建议您每年更新一次内容，以使其在Google（和用户）眼中保持新鲜。

13. E-A-T

Google最新的搜索质量指南指出：

“……专业知识、权威性和可信赖性 (EAT)的数量非常重要”。

换句话说：

Google希望推广由合法专家撰写的关于该主题的内容。

这里有3个快速提示，可帮助您优化EAT。

识别作者

让谷歌很容易知道谁写了一段特定的内容。

只要有可能，聘请或与您所在领域的受人尊敬的专家合作。

保持透明

确保用户可以轻松与您联系（使用联系表格或电子邮件地址）。

声誉很重要

Google的质量评估人员被要求查看网站的场外声誉。

换句话说：

他们监控网上人们对您网站的评价。

而且，如果您的网站以发布有用、值得信赖的内容而闻名，那将在很大程度上帮助您的排名。

学习更多

Google的200个排名因素完整列表：Google用来对网页进行排名的200个（潜在）信号列表。

通过分析了100万个Google搜索结果了解：迄今为止最大的Google排名因素研究。这项研究的结果将帮助您确定当前最重要的排名信号。

Google RankBrain权威指南：Google RankBrain算法的深入指南，包括可操作的技巧和策略。

资源页面链接建设，即在与您的网站内容相关的资源页面构建指向您的网站的反向链接。

直白点说就是，比如有个页面是关于最佳WordPress中文主题开发者的资源页，上面有数十个中文主题开发者网站的链接，现在闪电博想办法将自己的链接也放上去，这个过程称为资源页面链接建设。

本文将详细介绍何为资源页面建设、其优点和最佳实践！

什么是资源页面链接建设？

资源页面链接建设是从具有精选链接列表的页面构建反向链接到外部网站（资源页面）的做法。

资源页面链接建设工作有何重要？

这很简单：

当有人将您的链接添加到他们的资源页面时，您的链接会使他们的页面更​​好。

这是因为资源页面旨在链接到其他网站上的精彩内容。

这是一个例子：

因此，如果您有一个非常适合资源页面的资源，则无需扭曲任何人的手臂来获取链接。

（稍后您将看到，一封简单的外展电子邮件通常可以解决问题。）

事实上，一些资源页面甚至有一个“建议资源”链接：

这些页面实际上是在要求您推销它们。

这使您的转化率超高。事实上，这个策略非常有效，以至于它成为了我首选链接构建策略。

正如你从这个回复中看到的，它工作得很好：

我不孤独…

Search Engine Land 发现，从资源页面构建链接是 SEO 专业人士中第二受欢迎的链接构建策略：

有了这个，这里是如何通过资源页面链接构建获取反向链接：

最佳实践

使用搜索字符串查找资源页面

您的第一步是找到您所在行业的资源页面。

幸运的是，大多数资源页面都使用相同的术语……这使得使用搜索字符串很容易找到它们。

例如，查看此资源页面：

如您所见，他们称他们的页面为“链接”页面。

嗯，“链接”是一个你会在很多资源页面标题中找到的词。所以当你搜索你的关键词和“链接”时，你可以在几秒钟内找到几十个资源页面。

有了这个，这里有一些搜索字符串可以用来查找资源页面：

• Keyword inurl:resources
• Keyword “best resources”
• Keyword “useful resources”
• Keyword intitle:links
• Keyword “helpful links”

例如，我碰巧经营一个 SEO 博客。

因此，当我需要获取指向我网站的链接时，我通常在这些资源页面搜索字符串中使用“SEO”作为关键字。

然后，我筛选搜索结果以查找实际上是资源页面的页面：

而且我经常会遇到很多高质量的资源页面，比如这个：

简单的。

发现不同类型的资源页面

有很多“资源页面”不是典型的链接列表。

是的，他们像普通资源页面一样管理内容。

但他们不会在他们的页面上使用诸如“资源”之类的术语。这意味着它们不会出现在我刚刚向您展示的搜索字符串中。

例如，去年我们发布了一个学习 Python 的指南。

但是你永远不会用这样的搜索字符串找到它：关键字+“有用的链接”。

因此，为了增加您的链接机会，请使用以下这些搜索字符串来查找非显而易见的资源页面：

• Keyword “best sites”
• Keyword “best blogs”
• Keyword “blog awards”
• Keyword “places to learn”

例如，假设您在编码领域经营一个网站。

好吧，当您搜索 PHP“学习场所”时，Google 会为您提供大量来自非传统资源页面的链接机会，如下所示：

反向工程竞争对手的资源页面链接

这是我最近发现的一个黑带链接建设策略。

以下是它的工作原理：

首先，将一个竞争网站复制粘贴到 Semrush 中。

看看他们的反向链接：

然后，搜索资源页面使用的术语（如“资源”）。

Semrush 将向您显示他们的链接来自在页面某处使用该术语的页面。

像这个：

因为他们链接到你的竞争对手，所以他们很有可能也会链接到你。

寻找断开的链接

假设您在您的利基中找到了一个资源页面。

而且您拥有该页面的完美内容。

好吧，您可以通过电子邮件向运行该资源页面的人发送电子邮件并要求提供链接。

（这确实有效。）

或者，您可以添加一个简单的步骤并将转化率提高 2-10 倍。

简单的步骤是什么？

在联系之前，请在该资源页面上查找损坏的链接。

（也称为断链建设。）

例如，不久前我想从此页面获取链接：

好吧，我本来可以要求一个链接。

但我决定先扫描页面以查找损坏的链接。

我还向运行该页面的那个人发送了所有死链接的列表。

而且因为我非常乐于助人，他们很乐意将我的链接添加到他们的资源页面。

不要忘记“迷你资源页面”

“迷你资源页面”是指向嵌入在博客文章或文章中的外部资源的链接。

例如，查看这篇关于 Pinterest 的文章。

此页面并非 100% 专用于像普通资源页面那样进行链接。

但它确实有一个部分专门用于其他网站上的有用内容：

这种方法的缺点是迷你资源页面很难找到。与普通资源页面不同，没有任何术语将它们联系在一起。

也就是说，您有时可以使用以下搜索字符串发现一些迷你资源页面：

• Keyword “earn more”
• Keyword “other resources”
• Keyword “learn online”

专注于现实目标

这是一个很大的节省时间。

绝大多数资源页面很乐意链接到任何值得链接的站点。

但情况并非总是如此。

例如，此资源页面仅链接到 .edu 和 .gov 网站：

他们是否可能为您的网站破例？可能不是。因此，您最好转到列表中的下一个站点。

您可能还会遇到只链接到他们自己的东西的资源页面：

同样，像这样的资源页面不值得您花时间。一旦您发现某个页面不太可能链接到您，我建议您将其从潜在客户中删除，以便您可以专注于更现实的目标。

混合使用广泛和特定的搜索

这样，您可以找到许多可能想要添加链接的资源页面。

例如，假设您经营一个 Paleo 饮食博客。

像 “Paleo” inurl:links 这样的搜索字符串会带来相当多的页面：

但不要止步于此。

您还想混合一些广泛的关键字（例如“营养”、“健康”和“健身”）来描述您的内容：

这样，你就撒下了一张大网。

向管理页面的人发送电子邮件

这是一个大问题。

每当有人告诉我：“我给一个网站发了电子邮件，但从未收到回音”，我总是问他们给谁发了电子邮件。

它有很大的不同。

例如，查看罗格斯大学网站上的资源页面：

好吧，如果您希望有人将您的链接添加到该页面，您需要联系合适的人。

具体来说，就是运行和管理该页面的人。

在这种情况下，没有“提交资源”链接。

所以你需要做一些挖掘。

瞧！

我去了网站的目录页面，找到了那个部门的“商业图书馆员/信息素养协调员”。

那就是你想联系的人。

否则，如果您通过可怕的联系表格发送信息，您就完蛋了。

轻松添加您的链接

不要让人们思考你的链接在他们的页面上的什么地方有意义。

相反，给他们一个特定的页面区域，你的链接应该去哪里。

例如，看看这个资源页面。

好吧，我的网站非常适合页面的这一部分：

需要明确的是：并非每个资源页面都像这样分成小部分。

但是，如果您确实看到您的链接将成为灌篮附加的部分，请不要害怕指出这一点。

个性化您的外联电子邮件

您越个性化您的外联电子邮件，您的转化率就越高。

这绝对适用于资源页面链接构建。

例如，这是我不久前发送的一封外联电子邮件：

看看这是多么个性化？

这就是我获得链接的原因之一。

那说：

尽管我总是发送超级个性化的外展电子邮件，但我通常从模板开始。我尽可能地使这个模板变得个人化。

有了它，您可以从以下两个资源页面链接构建模板开始：

模板 #1：标准资源页面

主题：快速提问

嗨[名字]，

我今天正在寻找有关[Topic]的一些信息，当我遇到您出色的[Name of Page]时。

这非常有帮助！谢谢你。

我特别喜欢[Personalized Sentence or two]。

无论如何，我意识到我最近发布了一个关于[Related Topic] : [URL]的页面。

是【简述】。

它可能会在您页面的[Section Name]下很好地添加。

无论如何，再次感谢所有优秀的资源。并有一个很棒的一周！

快说吧，[你的名字]

模板 #2：链接断开的资源页面

主题：发现一个断开的链接

嗨[名字]，

我想让您知道，我在您的[资源页面标题]上发现了一些损坏的链接。

[网址 #1][网址 #2][网址 #3]

当我最近学习[Topic]时，您的页面对我很有帮助，所以我想报答一下。

另外，我想让您知道，我发布了一段内容，可以很好地替代[URL]。

这是链接：[网址]

无论哪种方式，我希望这有助于并保持出色的工作！

快说吧，[你的名字]

学习更多

链接建设：如何获得强大的反向链接：资源页面只是我获得反向链接的众多地方之一。

SEO 优化必备之反向链接检查工具：列举当前最流行的反向链接检测网站工具。

页面或者网站内容评估的目的是发现内容问题，然后进一步改进优化，以获得更好的搜索引擎自然排名。

本文将从内容评估的定义、重要性及具体的实操进行说明，希望对您有所帮助！

什么是内容评估？

内容评估是评估您网站上现有内容并查找可以删除、重定向或改进的内容的过程。

为什么内容评估很重要？

就像SEO 网站检查一样，内容审核通过以下方式帮助您改善内容营销：

• 帮助您找到表现不佳的内容
• 改善内容
• 将经验教训应用于未来的内容
• 评估您的顶级作者

例如，您可以按照年度范围进行内容评估。

当您注意到一些在当时表现良好的内容开始消退（在流量和谷歌排名方面）。

您即需要着手改进该内容（使用下面将介绍到的最佳实操指南）。

这些技巧将帮助您扭转了局面，重新获得更多的搜索引擎流量。

如何进行内容评估

第 1 步：删除或重定向低性能页面

您的第一步是在您的网站上找到驴子……并摆脱它们。

换句话说：识别产生零流量和零销售的内容。

我们为什么从这里开始？

好吧，如果您在网站上发布了很多内容，您会发现有很多内容需要筛选。

但是当你摆脱垃圾时，你可以专注于值得改进的内容。

您可以在Google Analytics中轻松找到表现不佳的内容。

只需前往“Site Content” –> “Landing Pages”。

并按最少的会话数对着陆页进行排序。

现在：

您可能会在此报告中发现一些实际上并不存在的奇怪页面。

但是当您浏览列表时，您可能会发现一些在上个月吸引了少数访问者的内容。

然后，一旦您确定了此内容，您可以：

• 彻底删除内容
• 将其与您网站上的另一条内容相结合
• 将页面301重定向到您网站上的类似页面
• 将多条内容合并到一个综合文章中

“正确”选项取决于内容。

例如，如果你写了一篇关于 5 年前的事件的博客文章，你最好删除它。

但是，如果您的文章总体上很扎实但有点薄，那么您可能希望将其与另一部分内容结合起来。

第 2 步：根据流量评估内容

现在您已经删除、合并或重定向了性能最差的内容，是时候处理剩下的内容了。

具体来说，您希望根据客观指标评估您的内容：

交通。

我看过其他关于内容评估的文章，这些内容评估使评估像火箭科学这样的内容。

他们说您应该制作一个 Excel 电子表格，并根据社交媒体份额、跳出率、评论、反向链接……以及其他一百万个因素对内容的表现进行评分。

我认为这很疯狂。

当然，只看一个指标有一些缺点。

但是，如果您尝试根据 10 多个不同的因素来评估内容的性能，您将不知道如何定义“好”或“坏”。

我建议您几乎完全根据它带来的流量来评估您的内容的性能。

流量是一个客观的数字，它反映了一段内容是否在发挥作用。

也就是说，如果您的内容评估专注于 SEO，那么您还需要查看另一个指标……

第 3 步：查看反向链接

您的大部分内容都应该旨在为您的网站带来目标流量。

那说：

您可能已经发布了一些内容，其唯一目的是建立反向链接。

（换句话说，链接诱饵）

如果是这样，您不想只根据它带来的流量来评估您的内容。您还想看看该内容为您的网站生成了多少反向链接。

例如，下面这篇关于语音搜索 SEO 研究文章。

就每月流量而言，该页面甚至没有进入前 30 名。

但迄今为止，该单条内容已链接到 2,200 次：

所以我称之为胜利。

第 4 步：改进并重新发布

一旦您确定了不符合标准的内容，就该进行改进了。

是的，这是这个过程中最耗时的部分。但这也是最重要的。如果您不使您的内容更好，那么首先进行内容审核几乎没有意义！

现在：有一百万种方法可以让您的内容变得更好。

但这里有一些方法很好，适用于大多数内容类型：

添加视觉元素：如果您的内容是 100% 文本，请考虑在文章中添加一些视觉内容，例如图表、图表和信息图表。

更新一切：查找和替换死链接。替换旧图像。并更新内容本身以反映您所在行业的变化。

使其更易于阅读：尤其是在移动设备上。过去大多数写内容的人都不太关注移动用户体验。但是考虑到现在大多数网站的移动访问者都超过了桌面访问者，因此最好考虑提高您在智能手机和平板电脑上的内容可读性。

涵盖更多内容：如果您的文章类似于“等等等等的 8 个技巧”，请考虑将该文章变成深入涵盖整个主题的终极指南。这不是夸大你的字数。这是为了确保您的内容能够为人们的问题或疑问提供完整的答案。

关于内容重新发布的相关内容，我建议您阅读我们此前发布的文章：炒冷饭也是一种极佳的SEO手段。

第 4 步：加倍关注高转化内容

是的，您想根据几乎 100% 的流量来评估您的内容。

但这并不意味着您的内容策略应该完全忽略转化。

为什么？

因为有可能拥有驱动大量流量的内容……几乎为零的潜在客户和销售。

因此，我建议检查您网站上的哪些内容转化率最高。

并弄清楚如何在这种类型的内容上加倍努力。

也许有一个特定的话题会吸引买家。那么您肯定想创建更多关于该主题的内容。

或者，也许您找到了一个非常适合流量的主题……但几乎没有人转换。那么可能是时候缩减该主题了。

你明白了。

流量是 SEO 和内容营销的主要目标。但并非所有流量都是平等的。这就是为什么您要加倍关注带来高转化流量的内容。

第 6 步：记录关键要点

完成内容改进后，就该记录所学内容了。

例如，您想查看哪些有效和无效：

• 格式（例如：列出文章与信息图表）
• 作者
• 内容长度
• 搜索引擎优化
• 社会股
• 注释

然后将您学到的知识应用到未来的内容中。

例如，当我进行内容审核时，我注意到了一些事情：

• 案例研究在短期内表现良好……但随着时间的推移，流量逐渐减少。当我深入挖掘时，我意识到了原因：案例研究在 Google 中的排名往往不高（与分步指南和列表文章相比）。
• 终极指南在推荐流量和谷歌排名方面做得很好。
• 数据驱动的研究非常适合获得高质量的反向链接。
• 我空间中的内容（数字营销）往往会很快变老。我需要随时更新我的​​东西。

显然，这对于每个站点都会有所不同。

重要的是从您的审核中记下 3-5 个外卖课程……并与您的团队分享。

有用的工具

这里有一些工具可以帮助您执行站点审核。

谷歌搜索控制台

Search Console非常适合查看哪些页面和关键字为您带来的流量最多。

（以及需要一些 TLC 才能打到第一页的页面）

Semush

具体来说，他们的站点检测工具。

这个工具显然专注于搜索引擎优化的东西。但它也可以帮助您找到存在技术问题的页面，这些问题阻碍了它们的排名。

对于大多数营销人员来说，需要不断的更新来保持网站的新鲜度，并提高他们的SEO排名。

然而，有些网站有几百个甚至几千个页面，这对手工向搜索引擎推送更新的团队来说是一个挑战。如果内容更新如此频繁，团队如何确保这些改进对其SEO排名产生影响？

这就是爬虫机器人发挥作用的地方。一个网络爬虫机器人会搜刮你的网站地图，以获得新的更新，并将内容索引到搜索引擎。

在这篇文章中，我们将概述一个全面的爬虫列表，涵盖所有你需要知道的网络爬虫机器人。在我们深入讨论之前，让我们先定义网络爬虫机器人，并说明它们的功能。

1. 什么是网络爬虫？
2. 网络爬虫如何工作？
3. 编制你的爬虫列表：什么是不同类型的网络爬虫？
4. 添加到您的爬虫列表中的11种最常见的网络爬虫
5. SEO专业人士需要了解的8种商业爬虫
6. 我是否需要保护我的网站免受恶意网络爬虫的侵害？

什么是网络爬虫？

网络爬虫是一种计算机程序，它自动扫描并系统地读取网页，为搜索引擎编制网页索引。网络爬虫也被称为蜘蛛或机器人。

为了使搜索引擎向发起搜索的用户提供最新的、相关的网页，必须发生网络爬虫机器人的爬行。这个过程有时会自动发生（取决于爬虫和你网站的设置），也可以直接启动。

许多因素影响你的网页的SEO排名，包括相关性、反向链接、虚拟主机等等。然而，如果你的网页没有被搜索引擎抓取和索引，这些都不重要。这就是为什么确保你的网站允许正确的抓取，并消除任何阻碍它们的障碍是如此重要。

机器人必须不断地扫描和爬取网络，以确保呈现最准确的信息。谷歌是美国访问量最大的网站，大约26.9%的搜索来自美国用户。

谷歌搜索主要是从美国发起的（来源：Statista）

然而，并没有一个网络爬虫为每个搜索引擎抓取信息。每个搜索引擎都有独特的优势，所以开发人员和营销人员有时会编制一个 “爬虫列表”。这个爬虫列表有助于他们在网站日志中识别不同的爬虫，以便接受或阻止。

营销人员需要组装一个充满不同网络爬虫的爬虫列表，并了解它们如何评估他们的网站（与窃取内容的爬取者不同），以确保他们为搜索引擎正确优化登陆页面。

网络爬虫如何工作？

网络爬虫会在您的网页发布后自动扫描，并为您的数据编制索引。

网络爬虫寻找与网页相关的特定关键词，并为谷歌、必应等相关搜索引擎编制信息索引。

抓取网页是一个多步骤的过程 (Source: Neil Patel)

当用户提交与之相关的关键词的查询时，搜索引擎的算法将获取这些数据。

抓取从已知的URL开始。这些是已建立的网页，有各种信号将网络爬虫引向这些页面。这些信号可以是。

• 反向链接： 一个网站链接到它的次数
• 访客：前往该网页的流量有多大
• 域名权重：该域名的整体质量

然后，他们将数据存储在搜索引擎的索引中。当用户发起搜索查询时，算法将从索引中获取数据，并出现在搜索引擎结果页面上。这个过程可以在几毫秒内发生，这就是为什么结果经常迅速出现。

作为一个网站管理员，你可以控制哪些机器人抓取你的网站。这就是为什么拥有一个爬虫列表很重要。这是存在于每个网站服务器内的robots.txt协议，它将爬虫引向需要被索引的新内容。

根据你在每个网页的robots.txt协议中输入的内容，你可以告诉爬虫在将来扫描或避免索引该网页。

通过了解网络爬虫在其扫描中寻找的内容，你可以了解如何更好地为搜索引擎定位你的内容。

编制您的爬虫列表：什么是不同类型的网络爬虫？

当您开始考虑编制您的爬虫列表时，有三种主要的爬虫类型需要寻找。这包括：

• 内部爬虫：这些是由公司的开发团队设计的爬虫，用于扫描其网站。通常，它们用于网站审计和优化。
• 商业爬虫：这些是定制的爬虫，如Screaming Frog，公司可以用它来爬行并有效地评估其内容。
• 开源爬虫：这些是免费使用的爬虫，由世界各地的各种开发者和黑客构建。

了解现有的不同类型的爬虫很重要，这样你就知道你需要利用哪种类型来实现自己的商业目标。

添加到您的爬虫列表中的11种最常见的网络爬虫

没有一种爬虫可以为每个搜索引擎做所有的工作。

相反，有各种各样的网络爬虫来评估您的网页，并为全世界用户提供的所有搜索引擎扫描其内容。

让我们来看看今天一些最常见的网络爬虫。

1. Googlebot

Googlebot是谷歌的通用网络爬虫，负责抓取将在谷歌搜索引擎上显示的网站。

Googlebot对网站进行索引，以提供最新的谷歌结果

虽然技术上有两个版本的Googlebot–Googlebot Desktop和Googlebot Smartphone（Mobile）–但大多数专家认为Googlebot是一个单一的爬虫。

这是因为两者都遵循每个网站的robots.txt中写的相同的独特产品标记（称为用户代理标记）。Googlebot的用户代理只是 “Googlebot”。

Googlebot开始工作，通常每隔几秒钟就会访问你的网站（除非你在网站的robots.txt中阻止了它）。扫描过的页面的备份被保存在一个叫做Google Cache的统一的数据库中。这使你能够查看你网站的旧版本。

此外，Google Search Console也是站长们用来了解Googlebot如何抓取他们的网站，并对他们的网页进行搜索优化的另一个工具。

2. Bingbot

Bingbot是微软在2010年创建的，用于扫描和索引URL，以确保Bing为该平台的用户提供相关的、最新的搜索引擎结果。

Bingbot为Bing提供相关的搜索引擎结果

与Googlebot一样，开发者或营销人员可以在其网站的robots.txt中定义是否批准或拒绝代理标识符 “bingbot “扫描其网站。

此外，他们有能力区分移动优先索引的爬虫和桌面爬虫，因为Bingbot最近换成了新的代理类型。这与Bing网站管理员工具一起，为网站管理员提供了更大的灵活性，以显示他们的网站是如何在搜索结果中被发现和展示的。

3. Yandex Bot

Yandex Bot是专门针对俄罗斯搜索引擎Yandex的一个爬虫。这是在俄罗斯最大和最流行的搜索引擎之一。

Yandex Bot对俄罗斯搜索引擎Yandex进行索引

网站管理员可以通过robots.txt文件使Yandex Bot能够访问他们的网站页面。

此外，他们还可以在特定页面上添加Yandex.Metrica标签，在Yandex网站管理员中重新索引页面，或发布IndexNow协议，这是一份独特的报告，指出新的、修改过的或停用的页面。

4. Apple Bot

苹果公司委托Apple Bot为苹果的Siri和Spotlight建议抓取和索引网页。

Apple Bot是苹果公司Siri和Spotlight的网络爬虫

Apple Bot在决定将哪些内容提升到Siri和Spotlight建议中时，会考虑多种因素。这些因素包括用户参与、搜索词的相关性、链接的数量/质量、基于位置的信号，甚至是网页设计。

5. DuckDuck Bot

DuckDuckBot是DuckDuckGo的网络爬虫，它提供 “网络浏览器上的无缝隐私保护”。

DuckDuck Bot为注重隐私的网站进行爬行

网站管理员可以使用DuckDuckBot API来查看DuckDuck Bot是否已经抓取了他们的网站。随着它的抓取，它用最近的IP地址和用户代理更新DuckDuckBot API数据库。

这有助于网站管理员识别任何试图与DuckDuck Bot相关的冒名顶替者或恶意的机器人。

6. Baidu Spider

百度是中国领先的搜索引擎，而Baidu Spider是该网站唯一的爬虫。

百度蜘蛛是百度的爬虫，是一个中国的搜索引擎

谷歌在中国被禁止使用，因此，如果您想进入中国市场，启用百度蜘蛛抓取您的网站非常重要。

要识别抓取你的网站的百度蜘蛛，寻找以下用户代理：baiduspider、baiduspider-image、baiduspider-video，以及其他。

如果你不是在中国做生意，在你的 robots.txt 脚本中阻止百度蜘蛛可能是有意义的。这将阻止百度蜘蛛抓取你的网站，从而消除你的网页出现在百度搜索引擎结果页面（SERP）的任何机会。

7. Sogou Spider

搜狗是一个中文搜索引擎，据说是第一个拥有100亿中文网页索引的搜索引擎。

搜狗蜘蛛是搜狗的一个爬虫

如果你在中国市场开展业务，这是你需要了解的另一个流行的搜索引擎爬虫。搜狗蜘蛛遵循机器人的排他性文本和爬行延迟参数。

与百度蜘蛛一样，如果你不想在中国市场做生意，你应该禁用这个蜘蛛以防止网站加载时间过慢。

8. Facebook External Hit

Facebook External Hit，又称Facebook Crawler，抓取在Facebook上分享的应用程序或网站的HTML。

Facebook External Hit为链接分享索引网站

这使社交平台能够为平台上发布的每个链接生成一个可分享的预览。标题、描述和缩略图的出现得益于爬虫。

如果爬行没有在几秒钟内执行，Facebook将不会在分享前生成的自定义片段中显示内容。

9. Exabot

Exalead是一家创建于2000年的软件公司，总部设在法国巴黎。该公司为消费者和企业客户提供搜索平台。

Exabot是Exalead的爬虫，是一家搜索平台公司

Exabot是他们建立在CloudView产品上的核心搜索引擎的抓取器。

像大多数搜索引擎一样，Exalead在排名时同时考虑反向链接和网页上的内容。Exabot是Exalead的机器人的用户代理。该机器人创建了一个 “主索引”，汇编了搜索引擎用户将看到的结果。

10. Swiftbot

Swiftype是一个为你的网站定制的搜索引擎。它结合了 “最好的搜索技术、算法、内容摄取框架、客户端和分析工具”。

Swiftype是一个可以为你的网站搜索提供动力的软件

如果你有一个有许多页面的复杂网站，Swiftype提供了一个有用的界面，为你的所有页面编目和索引。

Swiftbot是Swiftype的网络爬行器。然而，与其他机器人不同，Swiftbot只抓取他们的客户要求的网站。

11. Slurp Bot

Slurp Bot是雅虎的搜索机器人，为雅虎抓取和索引网页。

Slurp Bot为雅虎的搜索引擎结果提供动力

这种抓取对于Yahoo.com以及其合作伙伴网站，包括Yahoo News、Yahoo Finance和Yahoo Sports，都是必不可少的。没有它，相关的网站列表就不会出现。

被索引的内容有助于为用户提供更加个性化的网络体验和更多的相关结果。

SEO专业人员需要知道的8个商业爬虫

现在你的爬虫名单上有11个最受欢迎的机器人，让我们来看看一些常见的商业爬虫和专业人员的SEO工具。

1. Ahrefs Bot

Ahrefs Bot是一个网络爬虫，它对流行的SEO软件Ahrefs提供的12万亿链接数据库进行汇编和索引。

Ahrefs Bot为SEO平台Ahrefs索引网站

Ahrefs Bot每天访问60亿个网站，被认为是仅次于Googlebot的 “第二大活跃爬虫”。

与其他机器人一样，Ahrefs Bot遵循robots.txt功能，以及每个网站代码中的允许/禁止规则。

2. Semrush Bot

Semrush Bot使Semrush（领先的搜索引擎软件）能够收集和索引网站数据，供其客户在其平台上使用。

Semrush Bot是Semrush用于索引网站的爬虫

这些数据用于Semrush的公共反向链接搜索引擎、网站审计工具、反向链接审计工具、链接建设工具和写作助手。

它通过汇编网页URL列表，访问它们，并保存某些超链接以供将来访问，从而爬行您的网站。

3. Moz活动爬虫Rogerbot

Rogerbot是领先的SEO网站Moz的爬虫。这个爬虫是专门为Moz Pro Campaign网站检测收集内容的。

Moz一个流行的SEO软件，部署了Rogerbot作为其爬虫

Rogerbot遵循robots.txt文件中规定的所有规则，因此你可以决定是否要阻止/允许Rogerbot扫描你的网站。

由于Rogerbot的多面性，网站管理员将无法通过搜索静态IP地址来查看Rogerbot抓取了哪些页面。

4. Screaming Frog

Screaming Frog是一个爬虫，SEO专业人员用它来检测自己的网站，并确定将影响其搜索引擎排名的改进领域。

Screaming Frog是一个有助于改善SEO爬虫

一旦开始爬行，您就可以审查实时数据，并确定无效的链接或需要对您的页面标题、元数据、机器人、重复内容等进行改进。

为了配置抓取参数，您必须购买一个Screaming Frog许可证。

5. Lumar (以前是Deep Crawl)

Lumar是一个 “维护您网站技术健康的集中指挥中心”。通过这个平台，您可以启动对网站的抓取，以帮助您规划网站的架构。

Deep Crawl已改名为Lumar，是一个网站智能爬行器

Lumar为自己是 “市场上最快的网站爬虫 “而自豪，并吹嘘说它每秒钟可以爬行450个URL。

6. Majestic

Majestic主要侧重于跟踪和识别URL的反向链接。

Majestic爬虫使SEO能够检测反向链接数据

该公司以拥有 “互联网上最全面的反向链接数据来源之一 “而自豪，强调其历史指数在2021年已从5年的链接增加到15年。

该网站的爬虫将所有这些数据提供给该公司的客户。

7. cognitiveSEO

cognitiveSEO是另一个重要的SEO软件，许多专业人士都在使用。

congnitiveSEO提供了一个强大的网站检测工具

cognitiveSEO爬虫使用户能够进行全面的网站检测，这将为他们的网站架构和总体的SEO战略提供信息。

该机器人将抓取所有页面，并提供 “完全定制的数据集”，这对最终用户来说是独一无二的。该数据集还将为用户提供建议，说明他们如何为其他爬虫改进网站–既影响排名，又阻止不必要的爬虫。

8. Oncrawl

Oncrawl是面向企业级客户的 “业界领先的SEO爬虫和日志分析器”。

Oncrawl是另一个提供独特数据的SEO爬虫软件

用户可以设置 “爬行配置文件”，为爬行创建特定参数。您可以保存这些设置（包括起始URL、抓取限制、最大抓取速度等），以便在相同的既定参数下轻松地再次运行抓取。

我是否需要保护我的网站免受恶意网络爬虫的侵害？

并非所有爬虫都是好的。有些可能会对您的页面速度产生负面影响，而有些则可能试图入侵您的网站或有恶意。

这就是为什么了解如何阻止爬虫进入您的网站很重要。

通过建立一个爬虫列表，你就会知道哪些爬虫是需要注意的好爬虫。然后，您就可以剔除那些可疑的爬虫，并将它们添加到您的拦截列表（WordPress可以通过Spider Analyser插件实现）中。

如何拦截恶意的网络爬虫

有了你的爬虫列表，你就能确定哪些是你想批准的机器人，哪些是你需要阻止的。

第一步是浏览您的爬虫列表，定义与每个爬虫相关的用户代理和全代理字符串，以及它的具体IP地址。这些是与每个机器人相关的关键识别因素。

有了用户代理和IP地址，您就可以通过DNS查询或IP匹配在您的网站记录中与之匹配（您可以通过我们提供蜘蛛查询工具，输入爬虫的IP地址，即可快速查询识别该IP地址是否来自真实的蜘蛛或者爬虫）。如果它们不完全匹配，你可能有一个恶意的机器人试图冒充真实的机器人。

然后，你可以通过使用 robots.txt 网站标签调整权限来阻止这个冒牌货，或者通过通过Spider Analyser插件快速拦截一切您不需要的蜘蛛爬虫。

小结

网络爬虫对搜索引擎很有用，对营销人员也很重要，需要了解。

确保您的网站被正确的爬虫正确抓取，对您的业务成功很重要。通过保留一个爬虫列表，您可以知道哪些爬虫出现在您的网站日志中时需要注意的。

当您遵循商业爬虫的建议，改进您网站的内容和速度时，您将使爬虫更容易访问您的网站，并为搜索引擎和寻求信息的消费者索引正确的信息。