影響網(wǎng)頁(yè)收錄的蜘蛛陷阱系列二
三、簡(jiǎn)化動(dòng)態(tài)網(wǎng)址

動(dòng)態(tài)網(wǎng)址是指html代碼沒(méi)有永久性的儲(chǔ)存在網(wǎng)站服務(wù)器文件中的網(wǎng)頁(yè)，用戶(hù)看見(jiàn)的頁(yè)面是網(wǎng)站程序?qū)崟r(shí)創(chuàng)建了html。

由于動(dòng)態(tài)網(wǎng)址中可能包含多個(gè)參數(shù)（比如“&”），這些參數(shù)給蜘蛛程序造成了障礙，因?yàn)槿魏沃刀寄軌騻鹘o變量，蜘蛛無(wú)法知道對(duì)于同一個(gè)網(wǎng)頁(yè)到 底能夠顯示多少個(gè)不同版本，有時(shí)候傳遞個(gè)每個(gè)參數(shù)的不同值表明了這些網(wǎng)頁(yè)之間的差別，但這些值與顯示的網(wǎng)頁(yè)沒(méi)有任何聯(lián)系。有時(shí)候被用來(lái)記錄用戶(hù)行為的跟蹤代碼，這樣的網(wǎng)頁(yè)如果被蜘蛛程序捕捉到，那么，一個(gè)蜘蛛程序可能會(huì)看同一個(gè)網(wǎng)頁(yè)很多遍，這樣大大浪費(fèi)了蜘蛛程序的時(shí)間（利用這些時(shí)間可能會(huì)查看更多有用的網(wǎng)頁(yè)），而且會(huì)導(dǎo)致大量重復(fù)的網(wǎng)站被收錄。

隨著動(dòng)態(tài)網(wǎng)址越來(lái)越多，搜索引擎也對(duì)蜘蛛程序進(jìn)行了升級(jí)，目前對(duì)于動(dòng)態(tài)網(wǎng)址，蜘蛛程序可能做到：

URL中含有兩個(gè)以下的動(dòng)態(tài)參數(shù)：如果是這樣，你可以使用 URL重寫(xiě)（rewrite）,也就是經(jīng)常說(shuō)的偽靜態(tài)技術(shù)來(lái)解決問(wèn)題；
URL少于1000個(gè)字母：越短的越容易讀，越越容易記憶和理解；
URL中不包含區(qū)段標(biāo)記符：比如“id=”或者“session=”，這些通常是用來(lái)記錄用戶(hù)行為時(shí)候用到的區(qū)段標(biāo)志符，可以使用URL重寫(xiě)技術(shù)來(lái)讓這些URL變得更有意義一些；
從列表或者網(wǎng)站地圖鏈接過(guò)來(lái)的所有有效URL：一些動(dòng)態(tài)URL可以使用很多參數(shù)，蜘蛛程序不可能知道網(wǎng)站上有效網(wǎng)頁(yè)對(duì)應(yīng)的所有參數(shù)，所以需要確保給一些動(dòng)態(tài)網(wǎng)址留有蜘蛛通道。
五、消除頁(yè)面顯示的依賴(lài)條件

某些網(wǎng)站的開(kāi)發(fā)考慮了一些重要因素，可能需要用戶(hù)開(kāi)啟瀏覽器的某項(xiàng)功能或者采取某些行為才能正常執(zhí)行，這些對(duì)于網(wǎng)頁(yè)的用戶(hù)體驗(yàn)損害很大，常見(jiàn)的有：

1、需要 cookie：cookie是儲(chǔ)存在用戶(hù)計(jì)算機(jī)中的信息，網(wǎng)頁(yè)可以使用這些數(shù)據(jù)來(lái)了解用戶(hù)信息，但是蜘蛛程序不能接受cookie，如果你的網(wǎng)頁(yè)必須依賴(lài)cookie，建議取消這些功能或使用其他技術(shù)來(lái)實(shí)現(xiàn)搜索引擎與用戶(hù)看見(jiàn)相同的網(wǎng)頁(yè)。

2、需要下載軟件：蜘蛛程序只能讀懂文本文件，例如html和pdf文件，因?yàn)檫@些文件中含有可供搜索的文字信息，因此當(dāng)他們遇到需要軟件下載的時(shí)候，可能就是繞過(guò)去了。所以盡量避免這樣的事情發(fā)生，尤其是在網(wǎng)站首頁(yè)。

3、要求提供信息：很多網(wǎng)站設(shè)計(jì)人員要求用戶(hù)輸入某些信息或者回答一些問(wèn)題才允許瀏覽網(wǎng)頁(yè)，如果你的網(wǎng)頁(yè)需要用戶(hù)操作而不是點(diǎn)擊一個(gè)標(biāo)準(zhǔn)的超文本鏈接，蜘蛛程序可能會(huì)無(wú)法理解而轉(zhuǎn)走。

4、需要Javaｓｃｒｉｐｔ：蜘蛛程序不能執(zhí)行Javaｓｃｒｉｐｔ，而且一些用戶(hù)可能會(huì)由于考慮到安全原因?qū)g覽器的Javaｓｃｒｉｐｔ關(guān) 閉，如果你的網(wǎng)頁(yè)在允許顯示之間先要測(cè)試Javaｓｃｒｉｐｔ，那么，他就不能向蜘蛛程序顯示，而上面的鏈接也不能讓蜘蛛程序抓取。

四、避免使用JS下拉菜單

蜘蛛程序?qū)S的理解還不深入，一些在JS存在的鏈接可能無(wú)法被蜘蛛程序捕捉到，而往往菜單中的鏈接又是很重要的，所以使用JS下拉菜單的網(wǎng)頁(yè)最好使用html重新這些鏈接。

除了用html代碼，還可以使用來(lái)使這些重要鏈接被正常捕捉，因?yàn)橐恍┡f的瀏覽器不支持 Javaｓｃｒｉｐｔ，或者一些用戶(hù)禁用了瀏覽器的這些功能，這樣會(huì)導(dǎo)致不能執(zhí)行網(wǎng)頁(yè)上的Javaｓｃｒｉｐｔ代碼，如果下拉菜單需要 Javaｓｃｒｉｐｔ，那么，在不支持或者禁用了的瀏覽中，下拉菜單將不會(huì)被正常顯示。

在使用標(biāo)簽的時(shí)候，注意標(biāo)簽中的html代碼中的每個(gè)鏈接最好使用絕對(duì)地址。另外在網(wǎng)頁(yè)地圖中也加上這些網(wǎng)頁(yè)的鏈接，可以更好的保證蜘蛛程序發(fā)現(xiàn)他們。

未完待續(xù) …..