由此我們聯(lián)想到：搜索引擎爬蟲(chóng)會(huì)更加青睞內(nèi)容源更新頻繁的網(wǎng)站。通過(guò)特定時(shí)間內(nèi)對(duì)網(wǎng)站抓取返回的狀態(tài)碼來(lái)調(diào)節(jié)對(duì)該網(wǎng)站的抓取頻繁。若網(wǎng)站在一定時(shí)間內(nèi)一直處于[304:沒(méi)有變化]的狀態(tài)，那么引擎爬蟲(chóng)可能會(huì)降低對(duì)網(wǎng)站的抓取次數(shù)。相反，若網(wǎng)站變化的頻率非常之快，每次抓取都能獲取新版本，那么日積月累，爬蟲(chóng)的回訪率也會(huì)提高。 無(wú)論是抓取少還是304，這都是一種現(xiàn)象，并不是問(wèn)題的原因，假設(shè)網(wǎng)站返回的都是200，就能達(dá)到提升排名帶來(lái)流量的目的么?相比之下更應(yīng)該思考產(chǎn)生304的原因是什么?改304對(duì)網(wǎng)站目標(biāo)能夠有什么樣的效果?不能忽視整體的目標(biāo)而強(qiáng)調(diào)過(guò)程的細(xì)節(jié)，為了200而去解決304。 304狀態(tài)是如何產(chǎn)生? 服務(wù)器為了提高網(wǎng)站訪問(wèn)速度，對(duì)之前訪問(wèn)的部分頁(yè)面制定緩存機(jī)制，當(dāng)客戶端在此對(duì)這些頁(yè)面進(jìn)行請(qǐng)求，服務(wù)器會(huì)根據(jù)緩存內(nèi)容判斷頁(yè)面與之前是否相同，若相同便直接返回304，此時(shí)客戶端調(diào)用緩存內(nèi)容，不必進(jìn)行二次下載，可以說(shuō)304從某種角度起到了減少服務(wù)器帶寬并提高蜘蛛爬行效率的作用。 304狀態(tài)產(chǎn)生原因? 1、頁(yè)面更新周期長(zhǎng)或不更新 2、純靜態(tài)頁(yè)面或強(qiáng)制生成靜態(tài)html 304狀態(tài)處理思路? 1、先對(duì)產(chǎn)生304頁(yè)面進(jìn)行細(xì)分，到底是哪類頁(yè)面返回了304?這些頁(yè)面是否應(yīng)該返回304? 2、這些頁(yè)面生成的方式是怎樣的?是否有更新機(jī)制?更新機(jī)制是否符合蜘蛛對(duì)網(wǎng)站的抓取頻率? 3、頁(yè)面更新區(qū)域的位置是否合理?是否位于該頁(yè)面主要內(nèi)容的承載區(qū)域? 我們論壇的 @李明亮 同學(xué)也對(duì)此情況做了分析： 304狀態(tài)碼出現(xiàn)過(guò)多會(huì)造成以下問(wèn)題： 1、網(wǎng)站快照停止 2、收錄減少 3、權(quán)重下降 那么如何減少304返回碼呢? 據(jù)我所知，首先內(nèi)容更新方面要迎合百度蜘蛛，分析日志，把蜘蛛到訪的時(shí)間記錄下來(lái)，可以大致得出蜘蛛到訪的頻率，然后以此為依據(jù)，更新文章：一定是原創(chuàng)+轉(zhuǎn)載，不能純采集。轉(zhuǎn)載也需要最新最好的優(yōu)質(zhì)資源。讓蜘蛛這個(gè)點(diǎn)過(guò)來(lái)能有吃的。從而返回更多 200 正常碼。 其次呢，最好增加個(gè)互動(dòng)版塊，現(xiàn)在大網(wǎng)站基本已經(jīng)都做了這方面，比如評(píng)論、留言等，大網(wǎng)站更新起來(lái)變化可能會(huì)很小，但是有了這些互動(dòng)，用戶會(huì)在上面發(fā)些內(nèi)容，網(wǎng)站會(huì)有很多新的東西。如seowhy，就會(huì)把最新回復(fù)以及問(wèn)題放在重要位置。 結(jié)尾 本期我們著重討論了關(guān)于頻繁返回 304 狀態(tài)以及抓取次數(shù)較少的問(wèn)題，目的是為了讓網(wǎng)站充分的被抓取。除了以上達(dá)人分析的原因外，小編覺(jué)得引擎蜘蛛同樣也會(huì)參考網(wǎng)站綜合權(quán)重，對(duì)于權(quán)重高的網(wǎng)站抓取頻率會(huì)很頻繁，比如 Google 可能會(huì)參考 PR 值來(lái)決定網(wǎng)站的抓取頻率。
