于互聯(lián)網(wǎng)上的網(wǎng)站非常多，所以各大搜索引擎公司都要存入海量的數(shù)據(jù)，已經(jīng)擁有強(qiáng)大的帶寬。為了節(jié)約成本搜索引擎根據(jù)網(wǎng)站的權(quán)重高低提出來(lái)兩種不同的策略一種被稱之為廣度優(yōu)先，另一種被稱之為深度優(yōu)先。這也是對(duì)各大站長(zhǎng)的一種激勵(lì)措施。廣度優(yōu)先：一般來(lái)說(shuō)比較多在用在新站上面。蜘蛛根據(jù)網(wǎng)站的層次目錄結(jié)構(gòu)，爬行，先訪問(wèn)第一層目錄的頁(yè)面，爬行完畢之后在爬行第二層的頁(yè)面依此類推。但是這樣爬行來(lái)說(shuō)很多時(shí)候蜘蛛只在第一層目錄或者前幾層目錄爬完就走了。這樣被收錄的頁(yè)面和網(wǎng)站本身的頁(yè)面比例來(lái)說(shuō)不是很大。是以站長(zhǎng)要解決這個(gè)問(wèn)題一般來(lái)說(shuō)要從兩個(gè)方面入手，一個(gè)是增加網(wǎng)站權(quán)重，爭(zhēng)取蜘蛛在廣度爬行的時(shí)候也進(jìn)行深度爬行。
另外是，減少目錄層次，一般來(lái)說(shuō)現(xiàn)在的開(kāi)源程序和網(wǎng)站程序的架構(gòu)也都比較好，我們建立一級(jí)欄目和二級(jí)欄目就足夠。整體的目錄層次不要超過(guò)三層。這樣利于蜘蛛的收錄和爬行。如果網(wǎng)站權(quán)重不夠，而發(fā)布的內(nèi)容又再較深的目錄層次，應(yīng)該讓其在首頁(yè)顯示，蜘蛛來(lái)的時(shí)候可以第一時(shí)間爬行?，F(xiàn)在各大搜索引擎根據(jù)網(wǎng)站的權(quán)重大小一般都回采用廣度爬行和深度爬行同時(shí)進(jìn)行。深度優(yōu)先：根據(jù)網(wǎng)站的目錄層次，蜘蛛到達(dá)一個(gè)目錄繼續(xù)往這個(gè)目錄深層爬行，一直爬行到最低，沒(méi)有連接了。然后根據(jù)原來(lái)的連接返回，開(kāi)始爬行第二個(gè)目錄。是以站長(zhǎng)目錄設(shè)置要簡(jiǎn)單明了，千萬(wàn)不要讓蜘蛛迷路。
另外是，減少目錄層次，一般來(lái)說(shuō)現(xiàn)在的開(kāi)源程序和網(wǎng)站程序的架構(gòu)也都比較好，我們建立一級(jí)欄目和二級(jí)欄目就足夠。整體的目錄層次不要超過(guò)三層。這樣利于蜘蛛的收錄和爬行。如果網(wǎng)站權(quán)重不夠，而發(fā)布的內(nèi)容又再較深的目錄層次，應(yīng)該讓其在首頁(yè)顯示，蜘蛛來(lái)的時(shí)候可以第一時(shí)間爬行?，F(xiàn)在各大搜索引擎根據(jù)網(wǎng)站的權(quán)重大小一般都回采用廣度爬行和深度爬行同時(shí)進(jìn)行。深度優(yōu)先：根據(jù)網(wǎng)站的目錄層次，蜘蛛到達(dá)一個(gè)目錄繼續(xù)往這個(gè)目錄深層爬行，一直爬行到最低，沒(méi)有連接了。然后根據(jù)原來(lái)的連接返回，開(kāi)始爬行第二個(gè)目錄。是以站長(zhǎng)目錄設(shè)置要簡(jiǎn)單明了，千萬(wàn)不要讓蜘蛛迷路。
