曾慶平SEO在前面的文章中講過robots.txt概念的時候，留下一個問題：為什么曾慶平SEO的robots.txt寫得那么復雜?

 

曾慶平SEO的robots.txt：http://www.***seo.com/robots.txt 這樣做的目的是，讓搜索引擎看來網站更規范和權威。

 

1、用robots.txt屏蔽相似的頁面或沒內容的頁面。

 

 

我們知道，搜索引擎收錄網頁后，會對網頁進行“審核”，當網頁的相似度很高時2個頁面，搜索引擎會刪除其中一個。

 

假如以下這兩個鏈接，內容其實差不多，所以第一個鏈接應該屏蔽。 http://www.xxx.com/bbs/redirect.php?tid=5167&goto=lastpost#lastposthttp://www.xxx.com/bbs/thread-5167-1-1.html

 

第一個的鏈接非常多，屏蔽時，只要屏蔽/bbs/redirect.php? 就屏蔽了所有的。代碼如：Disallow: /bbs/redirect.php?

 

類似這樣的頁面，沒有內容，也應該屏蔽：http://www.xxx.com/index.php?sid=247304&lang=zh&action=writecomment&id=77&artlang=zh 這樣的鏈接也很多，屏蔽時，只要屏蔽/index.php?sid= 就屏蔽了所有的。

 

代碼如：Disallow: /index.php?sid=

 

2、用robots.txt屏蔽多余的鏈接，當動態和靜態共存時，一般去掉動態的。

 

網站中經常會存在多個鏈接指向同一個頁面，這種情況普遍存在時，會讓搜索引擎對網站的權威性產生懷疑。通過robots.txt把非主要的鏈接去掉。

 

 

假如以下兩個鏈接指向同樣的頁面，去掉次要的第一個。

 

http://www.xxx.com/space.php?username=曾慶平seo

 

http://www.xxx.com/space-uid-15.html

 

代碼如：Disallow: /space.php?username=

 

特別需要注意的是，首頁一般有這么幾個鏈接：www.yongfengseo.com www.yongfengseo.com/index.html 等，這個時候，不要屏蔽 index.html。因為如index.html index.php 等是默認首頁，屏蔽可能導致蜘蛛爬取錯亂。

 

咱們需要做的是，在給首頁做站內外鏈接時，統一用不帶index.html 的http://www.yongfengseo.com/ 即可。這是URL標準化的概念。

 

 

3、用robots.txt屏蔽死鏈接。

 

死鏈接就是原來存在，后來因為改版或更新等緣故刪除了的鏈接和網頁。比如，原來在某個目錄(假設目錄為/tempweb/)下的所有鏈接，因為改版現在都變為死鏈接了，可以用robots.txt屏蔽。

 

代碼如：Disallow: /tempweb/

 

4、用robots.txt屏蔽可能存在的“被K”外部鏈接。

 

很多網站允許用戶放自己的網站鏈接，但因為過多的“被K”外部鏈接可能連累自己。所以，很多把所有外部鏈接放入一個鏈接目錄下，然后通過robots.txt統一屏蔽。

 

如果你對Disallow:的具體操作辦法不是很清楚，你可以從這里了解我之前發布的robots文章。

 

本文來自微信公眾號：平哥SEO優化(qingpingseo) 原文鏈接：http://www.yongfengseo.com

本文來源：徐州酷優網絡科技有限公司

本文網址：https:///pinghushi/2087.html

聲明，本站文章均為酷優網絡原創或轉載，歡迎分享，轉載時請注明文章作者和“來源：徐州網站建設”并附本文鏈接