如何解決搜索引擎蜘蛛抓取異常？預(yù)防搜索引擎抓取異常的技巧

來源：超達(dá)科技 發(fā)布時間：2023-01-11瀏覽：1786次

SEOER經(jīng)常反映這樣一個問題：有一些高質(zhì)量的網(wǎng)頁，用戶也可以正常訪問，但搜索引擎蜘蛛不能正常訪問和抓取。在這里，海南互聯(lián)網(wǎng)營銷網(wǎng)站的優(yōu)化就是說，這種優(yōu)化現(xiàn)象會造成搜索結(jié)果覆蓋率的不足，這是對搜索引擎和網(wǎng)站的損失。百度稱這種情況為“搶占例外”。

大量內(nèi)容被搜索引擎蜘蛛異常抓取。百度搜索引擎會認(rèn)為該網(wǎng)站在用戶體驗上存在缺陷，降低對網(wǎng)站的評價。從抓取、標(biāo)引、排序等方面來看，都會受到一定程度的負(fù)面影響，終會影響網(wǎng)站從百度獲得的流量。

服務(wù)器連接異常有兩種情況：一是網(wǎng)站不穩(wěn)定，搜索引擎蜘蛛在嘗試連接時暫時無法連接到您網(wǎng)站的服務(wù)器；二是搜索引擎蜘蛛已經(jīng)無法連接到您網(wǎng)站的服務(wù)器。

服務(wù)器連接異常的原因通常是您的網(wǎng)站服務(wù)器運行過大和過載。您的網(wǎng)站也可能運行不正常。請檢查網(wǎng)站的web服務(wù)器（如Apache、IIS）是否正常安裝和運行，并使用瀏覽器檢查主頁面是否可以正常訪問。您的網(wǎng)站和主機(jī)也可能會阻止搜索引擎蜘蛛的訪問。你需要檢查網(wǎng)站和主機(jī)的防火墻。

網(wǎng)絡(luò)運營商分為電信和聯(lián)通。搜索引擎蜘蛛無法通過電信或網(wǎng)通訪問您的網(wǎng)站。如果發(fā)生這種情況，您需要聯(lián)系網(wǎng)絡(luò)服務(wù)提供商，或購買空間與二線服務(wù)或CDN服務(wù)。

當(dāng)搜索引擎蜘蛛無法解析您網(wǎng)站的IP地址時，將出現(xiàn)DNS異常。也許你的網(wǎng)站IP地址不對，或者域名服務(wù)提供商禁止了搜索引擎蜘蛛。請使用whois或host檢查您網(wǎng)站的IP地址是否正確和可解析。如果沒有，請聯(lián)系域名注冊商更新您的IP地址。

如何解決搜索引擎蜘蛛抓取異常？預(yù)防搜索引擎抓取異常的技巧

IP阻塞：限制網(wǎng)絡(luò)的導(dǎo)出IP地址，禁止該IP段的用戶訪問內(nèi)容。這里，它具體指的是搜索引擎蜘蛛IP的阻塞。僅當(dāng)您不希望搜索引擎蜘蛛訪問您的網(wǎng)站時，才需要此設(shè)置。如果您希望搜索引擎蜘蛛訪問您的網(wǎng)站，請檢查是否在相關(guān)設(shè)置中錯誤添加了搜索引擎蜘蛛的IP地址。你的網(wǎng)站所在的空間服務(wù)提供商也有可能禁止百度IP。此時，您需要聯(lián)系服務(wù)提供商以更改設(shè)置。

UA是用戶代理。服務(wù)器通過UA識別訪客的身份。當(dāng)一個網(wǎng)站訪問一個指定的UA并返回一個異常頁面（如403500）或跳轉(zhuǎn)到另一個頁面時，稱為UA阻塞。只有當(dāng)您不希望搜索引擎蜘蛛訪問您的網(wǎng)站時，才需要此設(shè)置。如果您希望搜索引擎蜘蛛訪問您的網(wǎng)站，您是否在用戶代理的相關(guān)設(shè)置中有搜索引擎蜘蛛UA并及時對其進(jìn)行修改。

頁面無效，無法向用戶提供任何有價值信息的頁面為死鏈接，包括協(xié)議死鏈和內(nèi)容死鏈。

頁面的TCP protocol status/HTTP protocol status清楚地表示死鏈，如404、403、503等。

內(nèi)容死鏈：服務(wù)器返回的狀態(tài)是正常的，但內(nèi)容已被更改為不存在的、已被刪除或需要權(quán)限的信息頁，與原始內(nèi)容無關(guān)。

對于死鏈，我們建議網(wǎng)站使用協(xié)議死鏈，通過百度站長平臺死鏈工具提交給百度，這樣百度可以更快地找到死鏈，減少死鏈對用戶和搜索引擎的負(fù)面影響。