這兩天我收到百度的反饋，說網(wǎng)站抓取異常。這個讓人很是擔(dān)心。很明顯，百度站長平臺可以成功抓取診斷工具。你為什么抓住異常？我不明白。因此，小編去網(wǎng)上查看了一上午的數(shù)據(jù)，得到的信息總結(jié)出網(wǎng)站關(guān)鍵詞優(yōu)化抓取異常的常見原因包括以下幾點(diǎn):
　　1.服務(wù)器連接異常
　　服務(wù)器連接異常有兩種情況:一種是站點(diǎn)不穩(wěn)定，Baiduspider在嘗試連接到您站點(diǎn)的服務(wù)器時暫時無法連接；一是Baiduspider無法連接到您網(wǎng)站上的服務(wù)器。
　　服務(wù)器連接不正常的原因通常是您的網(wǎng)站服務(wù)器太大并且過載。您的網(wǎng)站也可能運(yùn)行不正常。請檢查網(wǎng)站的網(wǎng)絡(luò)服務(wù)器(如apache、iis)是否安裝和運(yùn)行正常，并使用瀏覽器檢查主頁是否可以正常訪問。你的網(wǎng)站和主持人也可能會阻止Baiduspider的訪問。你需要檢查網(wǎng)站和主機(jī)的防火墻。
　　2.網(wǎng)絡(luò)運(yùn)營商異
　　網(wǎng)絡(luò)運(yùn)營商分為電信和聯(lián)通。Baiduspider無法通過電信或網(wǎng)通訪問您的網(wǎng)站。如果發(fā)生這種情況，您需要聯(lián)系網(wǎng)絡(luò)服務(wù)運(yùn)營商，或者購買雙線服務(wù)或cdn服務(wù)的空間。
　　3.域名系統(tǒng)異常
　　域名系統(tǒng)異常發(fā)生在Baiduspider無法解析您的網(wǎng)站的IP時。也許你的網(wǎng)站有錯誤的IP地址，或者域名服務(wù)提供商已經(jīng)禁止Baiduspider。請使用WHOIS或主機(jī)檢查您的網(wǎng)站IP地址是否正確和可解析。如果不正確或無法解決，請聯(lián)系域名注冊商更新您的IP地址。 　　4.IP阻止
　　IP阻止是為了限制網(wǎng)絡(luò)的出口IP地址，并禁止該IP段的用戶訪問內(nèi)容，尤其是BaiduspiderIP。只有當(dāng)您的網(wǎng)站不希望Baiduspider訪問時，才需要此設(shè)置。如果您希望Baiduspider訪問您的網(wǎng)站，請檢查相關(guān)設(shè)置中是否錯誤添加了BaiduspiderIP。您的網(wǎng)站所在的空間服務(wù)提供商也有可能禁止百度知識產(chǎn)權(quán)，然后您需要聯(lián)系服務(wù)提供商來更改設(shè)置。
　　5.用戶代理是用戶代理
　　服務(wù)器通過用戶代理識別訪問者的身份。當(dāng)網(wǎng)站返回異常頁面(如403，500)或跳轉(zhuǎn)到其他頁面進(jìn)行指定用戶訪問時，則為用戶阻塞。只有當(dāng)您的網(wǎng)站建設(shè)好后不希望Baiduspider訪問時，才需要此設(shè)置。如果你想讓Baiduspider訪問你的網(wǎng)站，你有Baiduspider UA中與用戶代理相關(guān)的設(shè)置，并及時修改它。
　　6.死鏈接
　　頁面無效，不能向用戶提供任何有價值信息的頁面是死鏈接，包括兩種形式的協(xié)議死鏈接和內(nèi)容死鏈接:
　　協(xié)議死鏈:由頁面的TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)明確表示的死鏈，如404、403、503狀態(tài)等。
　　內(nèi)容死鏈:服務(wù)器的返回狀態(tài)是正常的，但內(nèi)容已被更改為與原始內(nèi)容無關(guān)的信息頁面，如不存在、已刪除或需要權(quán)限。
　　對于死鏈，我們建議網(wǎng)站使用協(xié)議死鏈，通過百度站長平臺——死鏈工具提交給百度，這樣百度可以更快的找到死鏈，減少死鏈對用戶和搜索引擎的負(fù)面影響。
　　綜上所述，我們大概可以理解百度蜘蛛的爬行原理，它保證了網(wǎng)站的流量，而百度蜘蛛的爬行保證了包含度，所以只有滿足百度蜘蛛的爬行規(guī)則，沈陽網(wǎng)站建設(shè)才能得到更好的排名和流量。