解析網(wǎng)站寫入Robots.txt文件之后會被搜索引擎蜘蛛收錄的原因

來源：超達科技 發(fā)布時間：2022-02-15瀏覽：2047次

有些基于SEO的東西總是容易被忽略，比如Robots.txt文件。在seo優(yōu)化的文章中多次提到了關于Robots.txt文件的重要性。網(wǎng)站優(yōu)化的診斷方法之一是檢查文檔是否制作，是否標準化。如上文所述，如果搜索引擎蜘蛛被禁止進入網(wǎng)站的Robots.txt協(xié)議文件，無論你如何優(yōu)化它，它都不會被收錄在內(nèi)。  

Robots.txt協(xié)議文件寫入  

如果您將Robots.txt協(xié)議文件添加到您的網(wǎng)站并設置禁止搜索引擎蜘蛛的說明，您的網(wǎng)站內(nèi)容將不會被爬行，但可能會被收錄（索引）。  

有些人可能會有疑問，搜索引擎蜘蛛爬行網(wǎng)址頁面，頁面需要呈現(xiàn)蜘蛛的內(nèi)容反饋，才有可能被收錄。所以，如果內(nèi)容被禁止，會被收錄在內(nèi)嗎？那是什么意思？在這里沒有解釋這個問題。

為什么Robots.txt協(xié)議文件禁止之后會被搜索引擎蜘蛛收錄？  

這里有一個認知錯誤，也可能是慣性邏輯思維的錯誤思維。每個人都認為蜘蛛不能捕獲內(nèi)容，也不能收錄其中。事實上，爬行、抓取和索引是不同的概念。很多人在學習SEO時，經(jīng)?；煜恍㏒EO的概念，導致后續(xù)的SEO優(yōu)化過程中性能不佳。 

或者首先，Robots.txt協(xié)議文件在做什么？因為它是一個協(xié)議，它必須是一個雙方都同意和接受的規(guī)則。這A和B自然是網(wǎng)站和搜索引擎（或搜索引擎蜘蛛）之間的協(xié)議。Robots.txt協(xié)議文件將被放置在根目錄中，蜘蛛會在次進入網(wǎng)站時訪問該文件，然后查看協(xié)議中是否有任何頁面無法爬行，如果被禁止，則不會再次爬行。  

Robots.txt協(xié)議文件的意義

如果一個頁面想要被搜索引擎索引（包括），它應該被爬行器爬行和爬行。由于未對其進行爬網(wǎng)，因此將理所當然地不包括此頁。這樣的想法是錯誤的，可以索引而不必抓取。例如，淘寶是一個典型的案例，該網(wǎng)站添加了一個禁止協(xié)議，終被收錄。原因是百度從其他渠道平臺推薦的外部鏈接中了解到了這個網(wǎng)站。雖然禁止爬行，但可以通過標題和推薦鏈接的數(shù)據(jù)判斷與此頁面相對應的內(nèi)容信息。