您當(dāng)前的位置是：首頁->做網(wǎng)站知識->做網(wǎng)站

巧用robots.txt來做網(wǎng)站優(yōu)化

首發(fā): 長沙快付版權(quán)所有,未經(jīng)許可嚴(yán)禁轉(zhuǎn)載

　　現(xiàn)如今人們做網(wǎng)站都是使用的開源的網(wǎng)站程序，而dz或者wp之類的程序或多或少都會有一定的漏洞，合理的解決里面的漏洞會讓我們的網(wǎng)站的收錄提高好幾倍，因?yàn)榘俣冉o予一個網(wǎng)站的抓取配額是有限的。長沙做網(wǎng)站建議大家巧用robots.txt來做網(wǎng)站優(yōu)化。

　　站內(nèi)的動態(tài)鏈接

　　靜態(tài)頁面一般情況下比動態(tài)的頁面好收錄，在排名方面也比較有優(yōu)勢（唯一的缺點(diǎn)就是占用網(wǎng)站資源較大），像dz程序我們一般都把它設(shè)置成偽靜態(tài)，那么在這個時候就非常容易出現(xiàn)靜態(tài)和動態(tài)頁面共存的情況，我們都要把靜態(tài)頁面徹底屏蔽掉。

　　在robots協(xié)議中有一個命令Disallow:xx，這個命令就是告訴蜘蛛（不分百度和其他搜索引擎）不要抓取我所指定的頁面，對于偽靜態(tài)網(wǎng)站來說我們肯定不希望收錄動態(tài)的頁面（因?yàn)閮煞N頁面共存，就會導(dǎo)致重復(fù)頁面過多，會有降權(quán)的風(fēng)險(xiǎn)哦！），我們在這里可以使用Disallow: /*?*命令，這個命令就是指不抓取網(wǎng)站中所有的的動態(tài)鏈接。

　　死鏈接或者無用的鏈接

　　如果我們的網(wǎng)站由于失誤導(dǎo)致了很多的死鏈接，雖然我們可以使用百度站長工具把死鏈接刪除掉，但是蜘蛛爬取的路線在短時間內(nèi)不會改變，這個時候我們可以使用robots來把站內(nèi)的死鏈接全部屏蔽掉，例如：Disallow: /a/jiaocheng/。

　　robots.txt文件命令大全

　　首先我們必須要在網(wǎng)站的根目錄下面創(chuàng)建一個robots.txt的文件，然后依照命令來寫就可以了。

　　1、允許所有搜索引擎訪問

　　User-agent: *

　　Disallow:

　　或者

　　User-agent: *

　　Allow: /

　　2、禁止所有搜索引擎訪問

　　User-agent: *

　　Disallow: /

　　或者

　　User-agent: *

　　allow:

　　3、禁止所有搜索引擎訪問網(wǎng)站中的幾個部分，在這里我用a、b、c目錄來代替

　　User-agent: *

　　Disallow: /a/

　　Disallow: /b/

　　Disallow: /c/

　　如果是允許，則是

　　Allow: /a/

　　Allow: /b/

　　Allow: /c/

　　4、禁止某個搜索引擎的訪問，我用w來代替

　　User-agent: w

　　Disallow: /

　　或

　　User-agent: w

　　Disallow: /d/*.htm

　　在Disallow:后面加 /d/*.htm的意思是禁止訪問/d/目錄下的所有以”.htm”為后綴的URL，包含子目錄。

　　5、只允許某個搜索引擎的訪問，我用e來代替

　　User-agent: e

　　Disallow:

　　在Disallow：后面不加任何東西，意思是僅允許e訪問該網(wǎng)站。

　　6、使用”$”限制訪問url

　　User-agent: *

　　Allow: .htm$

　　Disallow: /

　　意思是僅允許訪問以”.htm”為后綴的URL

　　7、禁止訪問網(wǎng)站中所有的動態(tài)頁面

　　User-agent: *

　　Disallow: /*?*

　　8、禁止搜索引擎F抓取網(wǎng)站上所有圖片

　　User-agent: F

　　Disallow: .jpg$

　　Disallow: .jpeg$

　　Disallow: .gif$

　　Disallow: .png$

　　Disallow: .bmp$

　　意思是只允許引擎抓取網(wǎng)頁，禁止抓取任何圖片（嚴(yán)格來說，是禁止抓取jpg、jpeg、gif、png、bmp格式的圖片。）

　　9、只允許搜索引擎E抓取網(wǎng)頁和.gif格式圖片

　　User-agent: E

　　Allow: .gif$

　　Disallow: .jpg$

　　Disallow: .jpeg$

　　Disallow: .png$

　　Disallow: .bmp$

　　意思是只允許抓取網(wǎng)頁和gif格式圖片，不允許抓取其他格式圖片

　　長沙做網(wǎng)站總結(jié)：合理的使用robots命令可以使網(wǎng)站更快的展現(xiàn)在搜索引擎中。

最新簽約客戶
最新上線網(wǎng)站

為什么選擇長沙快付公司？

√ 8年專業(yè)做網(wǎng)站經(jīng)驗(yàn)
幫助您解決各種需求，并得到滿意方案

√ 效果滿意后付款
預(yù)付30%定金，效果讓您滿意后，付全款

√ 資深用戶體驗(yàn)設(shè)計(jì)師
秉承"一切以用戶價值為依歸"理念，重視用戶體驗(yàn)，專為企業(yè)需求進(jìn)行定制

√ 采用國際標(biāo)準(zhǔn)結(jié)構(gòu)建站
DIV+CSS國際標(biāo)準(zhǔn)構(gòu)建網(wǎng)頁，可有效提高網(wǎng)站訪問速度、提高網(wǎng)站頁面的可維護(hù)

√ 實(shí)現(xiàn)網(wǎng)絡(luò)營銷[SEO]最大化
網(wǎng)站程序中融入SEO，有效降低企業(yè)成本