Googlebot – Googlebot是谷歌的网络抓取机器人（有时也称为 "蜘蛛"）。Googlebot 使用一种算法过程：计算机程序决定要抓取哪些网站，多长时间抓取一次，以及从每个网站抓取多少页。Googlebot 的抓取过程从一个网页 URL 列表开始，该列表由以前的抓取过程产生，并由网站管理员提供的网站地图数据加以补充。当 Googlebot 访问这些网站中的每一个页面的时侯，它会检测每个页面上的链接（ src 和 herf ），并将它们添加到其要抓取的页面列表中。新网站、现有网站的变化和死链接都会被注意到，并用于更新谷歌索引。

Baiduspider – Baiduspider是百度中文搜索引擎的一个机器人。百度（中文：百度；拼音：Bǎidù）是中国领先的网站、音频文件和图像搜索引擎，Baiduspider 是百度搜索引擎的一个自动程序，它的作用是访问互联网上的网页，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站上的网页。

MSN Bot/Bingbot – 2010 年 10 月退役，重新命名为 Bingbot，这是一个网络抓取机器人（互联网机器人的类型），由微软部署，为Bing（搜索引擎）提供服务。它从网络上收集文件，为 Bing（搜索引擎）建立一个可供搜索的索引。

Yandex Bot – Yandex bot是 Yandex 的搜索引擎的爬行器。Yandex 是一家俄罗斯互联网公司，在俄罗斯经营最大的搜索引擎，在该国拥有约60%的市场份额。截至 2012 年 4 月，Yandex 排名全球第五大搜索引擎，每天的搜索量超过 1.5 亿次，访问者超过 2550 万。

Soso Spider – Soso.com 是腾讯控股有限公司拥有的一个中文搜索引擎，腾讯控股因其另一个创造 QQ 而闻名。根据 Alexa Internet 的数据，截至 2022 年 4 月 24 日，Soso.com 被列为世界上访问量最大的网站第 86 位，在中国访问量最大的网站第 13 位。平均而言，Soso.com 每天有 21,064,490 的页面浏览量，2013 年 9 月 16 日，搜搜搜索与搜狗搜索合并，访问 soso.com 搜索出来的结果却是搜狗提供，同时 Soso Spider 蜘蛛也是用的是 sogou spider。

Exabot – Exabot 是来自法国的 ExaLead 的爬虫。ExaLead 由搜索引擎先驱达索系统公司于 2000 年创立，提供搜索和统一的信息访问软件。

Sogou Spider – Sogou.com 是一个中文搜索引擎。它于 2004 年 8 月 4 日推出。截至 2010 年 4 月，它在 Alexa 的互联网排名中的排名为 121。搜狗提供了一个多达 100 亿个网页的索引，搜狗收索引擎的爬虫是 sogou spider。

Google Plus 分享 – Google Plus 让你与朋友、联系人和网络的其他部分分享建议–在 Google 搜索上。+1 按钮有助于初始化谷歌的即时分享功能，它还提供了一种给某一事物盖上你的公共印章的方式。

脸书外部点击 – 脸书允许其用户向其他脸书用户发送有趣的网络内容的链接。这在 Facebook 系统上的部分工作涉及临时显示某些图像或与网络内容有关的细节，如网页的标题或视频的嵌入标签。只有在用户提供链接后，Facebook 系统才会检索到这些信息。

谷歌 Feedfetcher – 当用户选择将 RSS 或 Atom feeds 添加到他们的谷歌主页或谷歌阅读器时，谷歌用于抓取这些信息。Feedfetcher 收集并定期刷新这些由用户发起的 Feeds，但不会在博客搜索或谷歌的其他搜索服务中索引它们（Feeds 只有在被谷歌机器人抓取后才会出现在搜索结果中）。