怎么查看百度蜘蛛是否到過(guò)你的網(wǎng)站，每天來(lái)的次數是多少，怎么樣通過(guò)日志來(lái)分析蜘蛛爬蟲(chóng)是否來(lái)過(guò)，如果看完下面還不明白請聯(lián)系我們技術(shù)支持
萬(wàn)網(wǎng)是國內比較大的網(wǎng)站空間服務(wù)商，在北京網(wǎng)站制作市場(chǎng)占有很大比例，那么下面我們以萬(wàn)網(wǎng)空間為例：
來(lái)了解一下這個(gè)問(wèn)題，首先到ftp中下載名字為wwwlogs中的日志文件，如果你的空間沒(méi)有這個(gè)文件夾，那么要到控制面板里面設置一下
具體方法是：登錄控制面板-->申請統計報告這樣就可以了

然后到wwwlogs文件夾中下載當天的日志看擴展名為.log.gz
打開(kāi)或會(huì )發(fā)現

得到的大概是這中東西
(KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised image/jpeg "/usr/home/hmu162155/htdocs/images/pic03.jpg"
219.142.245.89 - - [27/Apr/2013:17:08:36 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised text/html "/usr/home/hmu162155/htdocs/favicon.ico"
219.142.245.89 - - [27/Apr/2013:17:31:41 +0800] "GET /myfolder/ HTTP/1.1" 404 207 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised text/html "/usr/home/hmu162155/htdocs/myfolder"
219.142.245.89 - - [27/Apr/2013:17:31:41 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised text/html "/usr/home/hmu162155/htdocs/favicon.ico"
219.142.245.89 - - [27/Apr/2013:17:35:32 +0800] "GET /jsidjid HTTP/1.1" 404 205 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised text/html "/usr/home/hmu162155/htdocs/jsidjid"
219.142.245.89 - - [27/Apr/2013:17:35:32 +0800] "GET /favicon.ico HTTP/1.1" 404 209

我們來(lái)分析一下
123.125.68.*這個(gè)蜘蛛經(jīng)常來(lái),別的來(lái)的少,表示網(wǎng)站可能要進(jìn)入沙盒了，或被者降權。

220.181.68.*每天這個(gè)IP段只增不減很有可能進(jìn)沙盒或K站。

220.181.7.*、123.125.66.*代表百度蜘蛛IP造訪(fǎng)，準備抓取你東西。

121.14.89.*這個(gè)ip段作為度過(guò)新站考察期。

203.208.60.*這個(gè)ip段出現在新站及站點(diǎn)有不正?，F象后。

210.72.225.*這個(gè)ip段不間斷巡邏各站。

125.90.88.*廣東茂名市電信也屬于百度蜘蛛IP主要造成成分，是新上線(xiàn)站較多，還有使用過(guò)站長(cháng)工具，或SEO綜合檢測造成的。

220.181.108.95這個(gè)是百度抓取首頁(yè)的專(zhuān)用IP，如是220.181.108段的話(huà)，基本來(lái)說(shuō)你的網(wǎng)站會(huì )天天隔夜快照，絕對錯不了的，我保證。

220.181.108.92同上98%抓取首頁(yè)，可能還會(huì )抓取其他(不是指內頁(yè))220.181段屬于權重IP段此段爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)。

123.125.71.106抓取內頁(yè)收錄的，權重較低，爬過(guò)此段的內頁(yè)文章不會(huì )很快放出來(lái)，因不是原創(chuàng )或采集文章。

220.181.108.91屬于綜合的，主要抓取首頁(yè)和內頁(yè)或其他，屬于權重IP段，爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)。

220.181.108.75重點(diǎn)抓取更新文章的內頁(yè)達到90%，8%抓取首頁(yè)，2%其他。權重IP段，爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)。

220.181.108.86專(zhuān)用抓取首頁(yè)IP權重段，一般返回代碼是30400代表未更新。

123.125.71.95抓取內頁(yè)收錄的，權重較低，爬過(guò)此段的內頁(yè)文章不會(huì )很快放出來(lái)，因不是原創(chuàng )或采集文章。

123.125.71.97抓取內頁(yè)收錄的，權重較低，爬過(guò)此段的內頁(yè)文章不會(huì )很快放出來(lái)，因不是原創(chuàng )或采集文章。

220.181.108.89專(zhuān)用抓取首頁(yè)IP權重段，一般返回代碼是30400代表未更新。

220.181.108.94專(zhuān)用抓取首頁(yè)IP權重段，一般返回代碼是30400代表未更新。

220.181.108.97專(zhuān)用抓取首頁(yè)IP權重段，一般返回代碼是30400代表未更新。

220.181.108.80專(zhuān)用抓取首頁(yè)IP權重段，一般返回代碼是30400代表未更新。

220.181.108.77專(zhuān)用抓首頁(yè)IP權重段，一般返回代碼是30400代表未更新。

123.125.71.117抓取內頁(yè)收錄的，權重較低，爬過(guò)此段的內頁(yè)文章不會(huì )很快放出來(lái)，因不是原創(chuàng )或采集文章。

220.181.108.83專(zhuān)用抓取首頁(yè)IP權重段，一般返回代碼是30400代表未更新。

注：以上IP尾數還有很多，但段位一樣的123.125.71.*段IP代表抓取內頁(yè)收錄的權重比較低.可能由于你采集文章或拼文章暫時(shí)被收錄但不放出來(lái).(意思也就是說(shuō)待定)。

220.181.108.*段IP主要是抓取首頁(yè)占80%，內頁(yè)占30%，這此爬過(guò)的文章或首頁(yè)，絕對24小時(shí)內放出來(lái)和隔夜快照的，這點(diǎn)我可以保證



How to check whether the Baidu spider to your site, to the number of times every day, how log analysis to spiders, if after reading the following do not understand, please contact our technical support