百度蜘蛛是什么意思？百度蜘蛛(Baiduspider)是百度搜索引擎的一個(gè)自動(dòng)程序，它的作用是訪問(wèn)互聯(lián)網(wǎng)上的網(wǎng)頁(yè)，建立索引數(shù)據(jù)庫(kù)，使用戶能在百度搜索引擎中搜索到您網(wǎng)站上的網(wǎng)頁(yè)。那么如何正確識(shí)別百度蜘蛛？

　　一、查看UA信息

　　如果UA信息不對(duì)，可以直接判斷該蜘蛛為非百度搜索的蜘蛛。目前UA分為移動(dòng)、PC、和小程序三個(gè)應(yīng)用場(chǎng)景，分別如下：

　　【移動(dòng)UA】

　　1、Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

　　2、Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

　　【PC UA】

　　1、Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

　　2、Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

　　【小程序UA】

　　Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

　　二、雙向DNS解析認(rèn)證

　　第一步：DNS反查IP

　　開(kāi)發(fā)者可以對(duì)日志中訪問(wèn)服務(wù)器的IP地址進(jìn)行反向DNS查找，判斷某只spider是否來(lái)自百度搜索引擎，Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名，非*.baidu.com或*.baidu.jp即為冒充。

　　在Linux/Windows/OS三種平臺(tái)下，驗(yàn)證方法分別如下：

　　1) 在Linux平臺(tái)下，可以使用host IP命令反解IP來(lái)判斷該抓取是否來(lái)自Baiduspider。

　　2) 在Windows平臺(tái)或者IBM OS/2平臺(tái)下，可以使用nslookup IP命令反解IP：打開(kāi)命令處理器，輸入nslookup xxx.xxx.xxx.xxx（IP地址）就能解析IP，判斷該抓取是否來(lái)自Baiduspider。

　　3) 在macOS平臺(tái)下，可以使用dig命令反解IP：打開(kāi)命令處理器輸入dig -x xxx.xxx.xxx.xxx（IP地址）就能解析IP，判斷該抓取是否來(lái)自Baiduspider。

　　第二步：對(duì)域名運(yùn)行正向DNS查找

　　對(duì)第一步中通過(guò)命令檢索到的域名運(yùn)行正向DNS查找，驗(yàn)證該域名與日志中訪問(wèn)服務(wù)器的原始IP地址是否一致，IP地址一致可確認(rèn)spider來(lái)自百度搜索引擎，IP地址不一致即為冒充。

　　【示例】

　　host 111.206.198.69

　　69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com.

　　hostbaiduspider-111-206-198-69.crawl.baidu.com

　　baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69

　　三、網(wǎng)站部分資源不希望被百度蜘蛛訪問(wèn)該怎么做？

　　百度蜘蛛遵守互聯(lián)網(wǎng)robots協(xié)議。站長(zhǎng)可以更新robots.txt文件，文件中明確不希望百度蜘蛛訪問(wèn)資源或目錄等，并及時(shí)通過(guò)搜索資源平臺(tái)-【Robots】工具，提交robots文件。

　　需要注意，robots文件更新和提交后，搜索引擎需要逐漸完成更新，所以百度蜘蛛不是立即停止抓取網(wǎng)頁(yè)，請(qǐng)耐心等待。

　　1、網(wǎng)站封禁百度蜘蛛，可能會(huì)帶來(lái)哪些影響？

　　網(wǎng)站資源優(yōu)質(zhì)，也沒(méi)有其他違規(guī)問(wèn)題，但是存在以下情況，可以先自查是否存在封禁百度蜘蛛的問(wèn)題，及時(shí)解除封禁（解除封禁參考QA7），等待恢復(fù)。

　?。?）沒(méi)有查詢(xún)到百度蜘蛛任何抓取記錄。

　?。?）在百度搜索中沒(méi)有得到收錄和展現(xiàn)。

　?。?）網(wǎng)站/目錄存在流量異常下降的情況。

　　（4）在搜索結(jié)果中的摘要展現(xiàn)為“存在robots封禁”字樣。

　　2、如何解除封禁百度蜘蛛？

　　常見(jiàn)的封禁行為包括robots封禁、封禁百度UA、封禁百度IP這三種，可以逐一排查解決。

　　自查robots封禁

　　查看robots.txt文件，是否存在封禁記錄。（一般robots.txt文件放置在網(wǎng)站根目錄下。）

　　自查是否封禁百度UA

　　robots文件無(wú)異常的情況下，進(jìn)一步排查是否存在封禁百度UA情況。

　　第一種方法：執(zhí)行 curl –head –user-agent ‘Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)’ –request GET ‘xxxxxxx’

　　注意：正常返回碼是200，其他情況為異常。

　　第二種方法：變更瀏覽器UA驗(yàn)證。

　　自查是否存在IP封禁

　　以上驗(yàn)證均無(wú)異常，最后進(jìn)一步排查是否存在IP級(jí)別的封禁。

　　常見(jiàn)的IP封禁，源自網(wǎng)站的防火墻系統(tǒng)配置，需要查看防火墻配置系統(tǒng)后臺(tái)，檢查是否存在百度蜘蛛的IP級(jí)別封禁措施。

北京愛(ài)品特SEO網(wǎng)站優(yōu)化提供專(zhuān)業(yè)的網(wǎng)站SEO診斷服務(wù)、SEO顧問(wèn)服務(wù)、SEO外包服務(wù)，咨詢(xún)電話或微信：13811777897 袁先生 可免費(fèi)獲取SEO網(wǎng)站診斷報(bào)告。

北京網(wǎng)站優(yōu)化公司 >> SEO資訊 >> SEO技術(shù)技巧 >> 全面解析百度蜘蛛識(shí)別、封禁等相關(guān)問(wèn)題    本站部分內(nèi)容來(lái)源于互聯(lián)網(wǎng)，如有版權(quán)糾紛或者違規(guī)問(wèn)題，請(qǐng)聯(lián)系我們刪除，謝謝！