重新审视索引和关键字排名技术：20 年后

了解基于关键字的排名技术是如何演变的——从“老太太”到向量空间模型，再到今天。
Mike Grehan于 2022 年 8 月 4 日上午 6:00 发布 | 阅读时间：18 分钟
与 SearchBot 聊天
当 SEO 行业刚刚起步时，搜索引擎的索引和排名都是纯粹基于关键词的。

搜索引擎会将查询中的关键字与其索引中的关键字（与网页上出现的关键字）进行匹配。

相关性得分最高的页面将使用三种最流行的检索技术之一按顺序进行排名：

布尔模型
概率模型
向量空间模型
向量空间模型成为搜索引擎最相关的模型。

我将在本文中重新讨论我以前使用的经典模型的基本且比较简单的解释（因为它在搜索引擎组合中仍然相关）。

在此过程中，我们将破除一两个迷思，例如网页的“关键词密度”概念。让我们一劳永逸地消除这个迷思。

关键词：信息科学中最常用的词汇之一；对营销人员来说——一个笼罩的神秘面纱
“什么是关键词？”

你不知道在 SEO 行业刚刚兴起时，我听到过多少次这个问题。在我给出一个简短的解释之后，后续问题就是：“那么，我的关键词是什么，迈克？”

老实说，向营销人员解释查询中使用的特定关键字会触发搜索引擎结果中的相应网页，这是非常困难的。

是的，这几乎肯定会引发另一个问题：“查询是什么，迈克？”

如今，关键词、查询、索引、排名等术语在数字营销词汇中很常见。

然而，作为一名 SEO，我认为了解这些术语的来源以及为什么和如何现在仍然像过去一样适用是非常有用的。

信息检索 (IR) 科学是“人工智能”这一总称下的一个子集。但 IR 本身也由几个子集组成，包括图书馆和信息科学。

这就是我回顾 SEO 历程的第二部分的起点。（如果您错过了，我的第一部分是：我们已经爬行了网络 32 年：有什么变化？）

这一系列文章基于我 20 年前在一本有关 SEO 的书中写的内容，对多年来的最先进技术进行了观察，并将其与我们今天的状况进行了比较。

图书馆里的小老太太
因此，在强调了信息检索旗帜下有图书馆学元素之后，让我讲述一下它们在网络搜索中的位置。

看起来，图书馆管理员主要被看作是老太太。多年前，当我采访“网络”信息检索（IR）这一新兴领域的几位顶尖科学家时，情况确实如此。

WebCrawler 的发明者 Brian Pinkerton、Google 之前的第一大搜索引擎 Alta Vista 的技术副总裁兼首席科学家 Andrei Broder 以及 Google 的技术总监 Craig Silverstein（值得注意的是，他是 Google 的一号员工）都将他们在这个新领域的工作描述为试图让搜索引擎模仿“图书馆里的小老太太”。

图书馆基于索引卡的概念——其最初的目的是尝试组织和分类世界上已知的每一种动物、植物和矿物。

索引卡是整个图书馆系统的骨干，索引大量不同的信息。

除了作者姓名、书名、主题和值得注意的“索引词”（即关键词）等，索引卡还会标明该书的所在位置。因此，一段时间后，当你向“小老太太图书管理员”询问某本书时，她不仅能直观地指出图书馆的哪个部分，甚至可能指出这本书所在的书架，从而提供个性化的快速检索方法。

然而，当我像多年前一样解释搜索引擎中此类索引系统的相似性时，我不得不补充一个仍然很重要的警告：

“最大的搜索引擎以类似于图书馆的方式基于索引。在将大量网络内容存储在海量索引中后，它们需要快速返回与给定关键字或短语相关的文档。但网页在构成、质量和内容方面的差异甚至比原始数据本身的规模还要大。整个网络没有统一的结构，创作风格和内容的差异巨大，远比传统的文本文档集合更广泛、更复杂。这使得搜索引擎几乎不可能严格应用图书馆、数据库管理系统和信息检索中使用的传统技术。”

不可避免的是，关键词的出现以及我们在网络上写作的方式催生了一个新的交流领域。

正如我在书中所解释的那样，HTML 可以被视为一种新的语言类型，在未来的语言研究中应该这样对待。超文本文档比“纯文本”文档包含的内容要多得多。当人们阅读网页时，以及当搜索引擎通过文本挖掘和信息提取对文本进行分析、分类和归类时，这更能说明网页的内容。

有时我仍然听到 SEO 提到搜索引擎“机器阅读”网页，但该术语更多地属于相对较新引入的“结构化数据”系统。

正如我仍然经常需要解释的那样，人类阅读网页和搜索引擎对“有关”页面进行文本挖掘和提取信息与人类阅读网页和搜索引擎被“输入”结构化数据是不同的。

我发现最好的具体例子是将现代 HTML 网页与插入“机器可读”结构化数据进行比较，并将其与现代护照进行比较。看看护照上的图片页，你会看到一个主要部分，其中包含供人类阅读的图片和文字，页面底部还有一个单独的部分，专门用于通过滑动或扫描进行机器阅读。

从本质上讲，现代网页的结构有点像现代护照。有趣的是，20 年前，我曾用这个小事实来引用人机结合：

“1747 年，法国医生兼哲学家 Julien Offroy de la Mettrie 发表了思想史上最具开创性的作品之一。他将其命名为 L’HOMME MACHINE，最好翻译为“人，机器”。您经常会听到“人与机器”这句话，这就是人工智能的根本思想。”

我在上一篇文章中强调了结构化数据的重要性，并希望为您写一些我认为对理解人类阅读和机器阅读之间的平衡非常有帮助的东西。早在 2002 年，我就完全简化了它，以提供基本的合理化：

数据：以形式化的方式表示事实或想法，能够通过某种过程进行传达或操纵。
信息：人类通过已知的表示方法赋予数据的含义。
所以：

数据与事实和机器相关。
信息与意义相关，与人相关。
让我们先来谈谈文本的特征，然后我将介绍如何将文本表示为 SEO 行业中“有点被误解”的东西中的数据，即向量空间模型。

搜索引擎索引中最重要的关键词与最热门的词语
听说过齐夫定律吗？

该模型以哈佛大学语言学教授乔治·金斯利·齐普夫 (George Kingsley Zipf) 的名字命名，预测了我们在写作时会高频率使用熟悉词汇的现象。

齐普夫表示，他的定律基于人类行为的主要预测因素：努力将努力降到最低。因此，齐普夫定律适用于几乎所有涉及人类生产的领域。

This means we also have a constrained relationship between rank and frequency in natural language.

大多数大型文本文档集都具有相似的统计特征。了解这些统计数据很有帮助，因为它们会影响用于索引文档的数据结构的有效性和效率。许多检索模型都依赖于它们。

我们的写作方式有规律可循——我们通常会寻找最简单、最简短、最省事、最快捷的方法。所以，事实是，我们只是一遍又一遍地使用相同的简单词语。

举个例子，很多年前，我偶然发现了一项实验的一些统计数据，其中科学家收集了 46,500 篇报纸文章（1900 万个术语出现），大小为 131MB（这在当时是大数据）。

以下是前 10 个单词的数据以及它们在此语料库中的使用次数。我想你很快就会明白这一点：

词频
：1130021
表示547311
至516635
一464736
于390819
和387703一
204351表示
199340
一152483
表示148302一14

请记住，语料库中包含的所有文章都是由专业记者撰写的。但如果你看看最常用的十个单词，你几乎无法用它们造出一个有意义的句子。

由于这些常用词在英语中出现的频率很高，因此搜索引擎会将它们视为“停用词”而忽略。如果我们使用的最受欢迎的词语对自动索引系统没有多大价值，那么哪些词语有价值呢？

如前所述，信息检索 (IR) 系统领域已开展了大量工作。由于文本与基于形式逻辑的数据模型（例如关系数据库）的匹配度较差，统计方法得到了广泛应用。

因此，统计 IR 并不要求用户能够预测感兴趣的文档中可能出现的确切单词和单词组合，而是允许用户简单地输入可能出现在文档中的一串单词。

然后，系统会考虑这些单词在文本集合和单个文档中出现的频率，以确定哪些单词可能是相关性的最佳线索。系统会根据每个文档所含的单词计算其分数，并检索得分最高的文档。

2001 年，我在为本书做研究时，有幸采访了 IR 领域的一位顶尖研究人员。当时，Andrei Broder 是 Alta Vista 的首席科学家（现为 Google 的杰出工程师），我们正在讨论“术语向量”这个话题，我问他是否可以简单解释一下它们是什么。

他向我解释道，在索引中“衡量”术语的重要性时，他可能会注意到“of”这个词在语料库中出现了数百万次。他说，这个词根本就不会得到“权重”。但如果他看到像“hemoglobin”这样的词，而这个词在语料库中很少见，那么这个词就会得到一些权重。

在解释索引是如何创建的之前，我想先简单回顾一下，并消除多年来一直存在的另一个误解。那就是许多人认为 Google（和其他搜索引擎）实际上会下载您的网页并将其存储在硬盘上。

不，一点也不。我们已经有一个地方可以做到这一点，它被称为万维网。

是的，Google 会保留页面的“缓存”快照，以便快速检索。但是，当该页面内容发生变化时，下次抓取该页面时，缓存版本也会发生变化。

That’s why you can never find copies of your old web pages at Google. For that, your only real resource is the Internet Archive (a.k.a., The Wayback Machine).

事实上，当你的页面被抓取时，它基本上就被拆解了。文本被从文档中解析（提取）。

每个文档都有自己的标识符以及位置 (URL) 的详细信息，并且“原始数据”被转发到索引器模块。单词/术语与其出现的相关文档 ID 一起保存。

这是一个非常简单的示例，使用了我 20 年前创建的两个文档及其包含的文本。

召回率指数构建
索引标识符
解析完所有文档后，倒排文件按词条排序：

倒排索引
在我的示例中，这个过程在开始时看起来相当简单，但索引中的发布（在信息检索术语中称为发布）每次只进入一个文档。同样，对于数百万个文档，您可以想象将其转换为上面简化的大规模“术语视图”所需的处理能力，首先按术语，然后按每个术语内的文档。

您会注意到，我多年前就提到过“数百万份文档”。当然，如今我们已经达到数十亿（甚至数万亿）的规模。在我对如何创建索引的基本解释中，我继续说道：

每个搜索引擎都会创建自己的自定义词典（或词典——请记住，许多网页不是用英语编写的），其中必须包含抓取后发现的每个新“术语”（想想看，在使用Microsoft Word 等文字处理器时，您经常可以选择将单词添加到您自己的自定义词典中，即标准英语词典中没有出现的单词）。一旦搜索引擎拥有自己的“大”索引，某些术语就会比其他术语更重要。因此，每个术语都应该有自己的权重（值）。权重因子很大程度上取决于术语本身。当然，如果您仔细想想，就会发现这相当简单，因此出现次数越多的单词就会获得更高的权重，但这个权重会随着该术语在整个语料库中的“稀有性”而增加。索引器还可以为出现在文档中某些位置的单词赋予更多“权重”。出现在标题标签