很多SEO人員并沒(méi)有真正理解爬行、抓取、索引、收錄這些概念到底指的是什么、區(qū)別在哪，以及noindex、nofollow、robots文件的實(shí)質(zhì)功能又是什么。對(duì)這些概念沒(méi)有精準(zhǔn)理解，處理大型網(wǎng)站結(jié)構(gòu)，決定什么頁(yè)面需要被抓取，什么頁(yè)面需要被索引，哪些頁(yè)面需要禁止抓取、素引等情況時(shí)，就很難明白SEO該怎么做。所以，這里先來(lái)弄清楚這些概念的意義。

　　1.爬行

　　爬行指的是搜索引擎蜘蛛從己知頁(yè)面上解析出鏈接指向的URL，也就是沿著鏈接發(fā)現(xiàn)新頁(yè)面（鏈按指向的URL）的過(guò)程。當(dāng)然，蜘蛛并不是發(fā)現(xiàn)新URI就馬上爬過(guò)去抓取新頁(yè)面，而是把發(fā)現(xiàn)的URL存放到待抓地址庫(kù)中，按照一定順序從地址庫(kù)中提取要抓取的URL。

　　2.抓取

　　抓取是指搜索引擎蜘蛛從待抓地址庫(kù)中提取要抓的URL，訪問(wèn)這個(gè)URL，把讀取的HTML代碼存入數(shù)據(jù)庫(kù)的過(guò)程。蜘蛛抓取就是像瀏覽器一樣打開(kāi)這個(gè)頁(yè)面，過(guò)程和用戶瀏覽器訪問(wèn)一樣，也會(huì)在服務(wù)器原始日志中留下記錄。

　　3.索引

　　索引的英文是index，指的是將一個(gè)URL的信息進(jìn)行整理，并存入數(shù)據(jù)庫(kù)，也就是素引庫(kù)。用戶搜索時(shí)，搜索引擎從素引庫(kù)中提取URL信息并排序展現(xiàn)出來(lái)。索引庫(kù)是用于搜索的，被索引的URL是可以被用戶搜索到的，沒(méi)有被索引的URI，用戶在搜索結(jié)果中是看不到的。

　　要注意的是，所謂“一個(gè)URL的信息”，并不限于蜘蛛從URL上抓取來(lái)的內(nèi)容，還有來(lái)自其他來(lái)源的信息，如外部鏈接、鏈接的描文字等。有的時(shí)候，索引庫(kù)中關(guān)于這個(gè)URL的信息，根本沒(méi)有從這個(gè)URL抓取來(lái)的內(nèi)容，但搜索引擎知道這個(gè)URL的存在，并且存在一些其他信息。

　　4.收錄

　　我個(gè)人覺(jué)得收錄和索引沒(méi)有區(qū)別，在這里是混用的。只不過(guò)收錄是從站長(zhǎng)角度看的，搜索時(shí)能找到這個(gè)URI，就是這個(gè)URL被收錄了。從搜索引擎角度看，URL被收錄了，也就是這個(gè)URL的信息在索引庫(kù)中存在了。英文中并沒(méi)有收錄這個(gè)詞，它和索引使用的是同一個(gè)詞index。

　　有的時(shí)候，站長(zhǎng)并不希望某些頁(yè)面被收錄(或者說(shuō)被素引)，如復(fù)制內(nèi)容頁(yè)面。網(wǎng)站上不出現(xiàn)鏈接，或者使用JavaSoript鏈按，使用nofollow等方法都不能保證頁(yè)面一定不被收錄。站長(zhǎng)自己雖然沒(méi)有鏈按到不想被收錄的頁(yè)面，其他網(wǎng)站可能由于某種原因鏈接到這個(gè)頁(yè)面，導(dǎo)致頁(yè)面被抓取和收錄。

　　有的時(shí)候，站長(zhǎng)也不希望某些頁(yè)面被抓取，如付費(fèi)內(nèi)容、還在測(cè)試階段的網(wǎng)站等。還有一種很常見(jiàn)的情況，搜索引擎抓取了大量漢有意義的頁(yè)面，如電子商務(wù)網(wǎng)站按各種條件過(guò)調(diào)、飾選的頁(yè)面，各種排序、排版格式的頁(yè)面，這些貝面數(shù)量龐大，抓取過(guò)去會(huì)消耗掉搜索引擎分配給這不網(wǎng)站的抓取份額，造成真正有意義的頁(yè)面反倒不能被抓取和收錄的情況。如果通過(guò)檢在日志文什發(fā)現(xiàn)這些無(wú)意義頁(yè)面被反復(fù)大量抓取，想要收錄的頁(yè)面根本沒(méi)有抓取，那就應(yīng)該直接禁止抓取無(wú)意義的頁(yè)面。

　　要確保頁(yè)面不被抓取，需要使用robots文件，要確保頁(yè)面不被收錄，需要使用noindex meta robots標(biāo)簽。

北京愛(ài)品特SEO網(wǎng)站優(yōu)化提供專業(yè)的網(wǎng)站SEO診斷服務(wù)、SEO顧問(wèn)服務(wù)、SEO外包服務(wù)，咨詢電話或微信：13811777897 袁先生 可免費(fèi)獲取SEO網(wǎng)站診斷報(bào)告。

北京網(wǎng)站優(yōu)化公司 >> SEO資訊 >> SEO技術(shù)技巧 >> 爬行、抓取、索引、收錄到底是什么意思有什么區(qū)別    本站部分內(nèi)容來(lái)源于互聯(lián)網(wǎng)，如有版權(quán)糾紛或者違規(guī)問(wèn)題，請(qǐng)聯(lián)系我們刪除，謝謝！