合肥網(wǎng)絡公司知識之ROBOT和蜘蛛

1、先說ROBOT和蜘蛛的關系：

Robot的英文意識是機器人，在網(wǎng)站推廣或搜索引擎優(yōu)化SEO中，也常常翻譯成探測器；它是搜索引擎用來抓取網(wǎng)頁的工具，它是一個軟件或者說一系列自動程序，不同的搜索引擎給他們自己的探測器(Robot)起不同的名字；比如百度叫baiduspider 、MSN叫MSNbot、谷歌叫googlebot、Yahoo叫Slurp? (Slurp，中文理解是機器人吃東西時發(fā)出的嘖嘖的聲音)。

所以ROBOT和蜘蛛一個大類與子類，包含與被包含的關系。

2、再詳細介紹百度的蜘蛛：

百度用以抓取并收錄互聯(lián)網(wǎng)上數(shù)以億計的網(wǎng)頁的程序，就叫做Baiduspider – 百度蜘蛛。它會不知疲倦地、沒日沒夜地在互聯(lián)網(wǎng)上找尋新的URL，接著抓取URL上的內(nèi)容，并返回到百度的網(wǎng)頁暫存數(shù)據(jù)庫里。業(yè)界素有百度蜘蛛一般下午和晚上喜歡來網(wǎng)站抓取內(nèi)容的流傳，無從考證。但如果你能真正做到每天某個時間點很規(guī)律地更新文章的話，這個你看不見的“小蜘蛛”就會在這個時間點光臨你的網(wǎng)站。
轉(zhuǎn)載請注明出處 網(wǎng)絡公司佳達科技專注于網(wǎng)站推廣 www.baidu0551.cn