Robots協(xié)議是放在根目錄下的一個協(xié)議，也是蜘蛛爬行網(wǎng)站的時候需要訪問的第一個文件，通過解讀Robots文件的策略，蜘蛛可以知道哪些頁面可以爬行，哪些不可以爬行。一般來說，網(wǎng)站都是可以開發(fā)給蜘蛛來抓取的，某些不允許抓取的頁面或者頻道，只需要在Robots里面設(shè)定Disallow (禁止抓取的命令)就可以。但是在實際運營中，可能面臨更復(fù)雜的情況，比如整站已經(jīng)在HTTPS下，但是部分頁面需要蜘蛛爬行，怎么辦?有以下幾個解決辦法。
(1)復(fù)制一份到HTTP下。
(2)使用user-agent判斷來訪者，將蜘蛛引導(dǎo)到HTTP頁面。
關(guān)于Robots文件，詳細(xì)說明如下。
關(guān)于Robots文件，詳細(xì)說明如下。
(1)特定頁面已經(jīng)不需要蜘蛛抓取，可以進行Disallow。
(2)某類集中的頁面具有共同的URL參數(shù)，可以實現(xiàn)批量禁止抓取功能。在操作批量禁止的時候，需要避免誤傷，即具有同樣URL特征的功能可能并不在禁止的目的之內(nèi)，無意中被禁止了。
關(guān)于同類特征的URL的一個特殊應(yīng)用就是批量禁止動態(tài)URL的抓取。比如一個動態(tài)發(fā)布內(nèi)容的網(wǎng)站，初始頁面都是動態(tài)頁面，從SEO角度考慮，這些動態(tài)頁面全部批量生成了對應(yīng)的靜態(tài)頁面，如下。
http://www.abc.com/?id=1
http://www.abc.com/?id=2
......
(已經(jīng)批量生成了如下)
http://www.abc.com/ 1.html
......
如果同時被蜘蛛抓取了動態(tài)頁面和對應(yīng)的靜態(tài)頁面，那么網(wǎng)站就存在大量的重復(fù)頁面，對SEO是不好的。可以通過Robots功能，統(tǒng)一禁止動態(tài)URL的抓取，比如在Robots文件里寫如下內(nèi)容。
Disallow : /*?*
在抓取方面，蜘蛛會依據(jù)實際情況調(diào)整對網(wǎng)站的抓取頻次，即分配抓取定額，每天定量抓取網(wǎng)站內(nèi)容，“定量”這個詞意味著是有限的，-一個大門]戶網(wǎng)站如果一次性提交10萬條URL，并不意味著蜘蛛會很快把10萬條數(shù)據(jù)抓取回去，因此，必須有耐心跟蹤搜索蜘蛛在網(wǎng)站每天的爬行和收錄情況。網(wǎng)站式行業(yè)動態(tài)
本文地址：http://m.hnlcty.com/article/7777.html
