在了解搜（sōu）素引擎蜘蛛的之（zhī）前，我们先（xiān）回顾下之前介绍过什么是互（hù）联网，通俗可以理解成互联网就像一张非常大的蜘蛛网，然（rán）而搜（sōu）索（suǒ）引擎（qíng）是如（rú）何（hé）发现并收（shōu）录互联（lián）网（wǎng）中过亿的网（wǎng）页（yè）呢（ne）?这就是我们今天所（suǒ）要介绍的，搜索（suǒ）引擎（qíng）蜘蛛或机器（qì）人（rén）(网络爬虫)，当大（dà）家看一些SEO文（wén）章或（huò）教程的时候就会经常发（fā）现我们做SEO的讲解（jiě）引蜘（zhī）蛛等方（fāng）法，那么就是指（zhǐ）它了。

我们来（lái）看看搜索（suǒ）引擎蜘蛛字面含义：

搜索引擎蜘（zhī）蛛是一个自动提取网（wǎng）页的程序，它为搜（sōu）索引（yǐn）擎从Internet网（wǎng）上下载（zǎi）网页，是搜索引擎的重要（yào）组（zǔ）成（chéng）。传统爬虫从一个或（huò）若干初（chū）始网页的URL开始，获得初始网页上（shàng）的（de）URL，在抓取网页的过程中，不断从当（dāng）前页面（miàn）上抽取新的（de）URL放入队列,直（zhí）到满（mǎn）足系统的（de）一定停止条件。被搜索引擎蜘蛛抓（zhuā）取的网页将会被系统存贮，进行一定（dìng）的分析、过滤，并建立索引，以（yǐ）便（biàn）之后的（de）查询和检索;

国内常见搜索引擎蜘蛛名称（chēng）：

google蜘蛛：googlebot

百度蜘蛛：baiduspider

yahoo蜘蛛：slurp

soso蜘蛛：sosospider

msn蜘蛛（zhū）：msnbot

有道蜘蛛：YodaoBot和（hé）OutfoxBot

搜狗蜘蛛：sougouspider