在我看來robots協(xié)議就是站長行使網(wǎng)站支配權的執(zhí)行文件，這是我們作為站長最基本的權利。它是搜索引擎蜘蛛爬取網(wǎng)站之前要面對的第一道關口，所以robots協(xié)議的重要性也是可想而知了。都說細節(jié)決定成敗，那么越重要的東西細節(jié)就顯得尤為重要，往往自己一不小心忽略的一個細節(jié)到最后就可能會成為你的致命一擊。本人之所以會這么說，是因為我差點就成了這個問題的反面教材了，還好發(fā)現(xiàn)的及時也算是亡羊補牢吧！之所以想立即分享給大家，就是希望大家以后自己做站的時候要避免犯類似的錯誤。

事情其實就發(fā)生在今天，經(jīng)過是這樣的：因為SEO博客也剛做好不久，前幾天網(wǎng)站上線之后發(fā)現(xiàn)還有很多小問題需要處理，為了避免網(wǎng)站還在調整的過程中就被搜索引擎抓取到，所以我在robots協(xié)議里面寫了禁止所有搜索引擎爬取網(wǎng)站任何部分的指令，網(wǎng)站的調整一直持續(xù)了幾天（之所以會弄這么長時間是因為我是一個不能容忍瑕疵的人，不知道這算不算強迫癥的一種），直到昨天也就是2月3號才全面竣工，但是這期間我每天都在堅持添加原創(chuàng)文章。昨天網(wǎng)站檢查完畢，全部問題都解決好以后，我就把robots協(xié)議重新更換了過來，并且發(fā)了一篇帖子引了蜘蛛希望爬蟲能快點過來爬我的網(wǎng)站。就這樣，到了今天早上發(fā)現(xiàn)網(wǎng)站還是沒有被收錄，于是我就去百度站長工具平臺看一下我的網(wǎng)站到底是個什么情況，進去一看嚇我一跳，因為我看到了下面一則（如圖所示）信息：

我的網(wǎng)站竟然對百度進行了全面封禁，檢測時間是在今天（2月4號）早上凌晨5點整的時候，這讓我像丈二的和尚摸不著頭腦了，太不科學了，因為我在昨天2月3號上午已經(jīng)把網(wǎng)站的robots協(xié)議更改過來了，真的是太奇怪了。就在我百思不得其解的時候總算是通過站長平臺工具的“robots檢測”找到了答案，看下圖：

原來百度蜘蛛早就在我網(wǎng)站蜘蛛上線后的第三天抓取了我網(wǎng)站的robots協(xié)議，所以當前生效的協(xié)議也就是當時它抓取到的我把蜘蛛全部屏蔽時的那個，而本站最新的robot協(xié)議還沒有生效。這下我總算是明白了過來了，既然弄清楚了原因那事情就好辦了。于是我立即把協(xié)議提交更新了一下，如下圖：

更新以后一分鐘內協(xié)議就更新過來了，如下圖：

可以看到，當前本站最新的robots已經(jīng)開始生效了，就這樣到了下午，當我再次進入百度站長平臺就收到了新消息，如下圖所示：

至此網(wǎng)站已經(jīng)解除了robots協(xié)議對百度的全面封禁，檢測時間顯示的是今天下午兩點整。到了晚上也差不多就是在三個多小時以前，當我再次檢查網(wǎng)站收錄情況的時候，網(wǎng)站首頁已經(jīng)被收錄了。如下圖：

網(wǎng)站終于被收錄了，但讓我最開心的還是我通過自己的努力找到問題并解決了問題，這才是我今天最大的收獲。當然了如果這個問題我發(fā)現(xiàn)不了，可能網(wǎng)站再過十天半個月也會毫無起色，所以我要提醒大家的就是關于robots協(xié)議在封禁蜘蛛之后到后期在解封的時候一定要記得及時更新robots協(xié)議，這是一個不容被忽視的小細節(jié)。也許按照自己的一貫常識覺得只要通過輸入“http:\域名 obots.txt看一下網(wǎng)站的協(xié)議改過來了沒有就可以了，但是通過實踐證明這種方式也不是完全可靠的，所以一定要記住我這次的經(jīng)驗教訓，robots一旦進行調整就一定要記得及時提交更新，不然被蜘蛛抓取了不該抓的或者一直把蜘蛛拒之門外耽誤了自己的時間那就真的是后悔莫及了。

溫馨小提示：剛才看了一下時間，已經(jīng)轉鐘到了第二天了，寫這篇文章的時候是在2月4號，但是現(xiàn)在發(fā)布的時間已經(jīng)轉點到2月5號了，所以文章提到的“今天”也就是2月4號，希望大家不要看糊涂了。