2024-04-29 分類: 網(wǎng)站建設(shè)
在網(wǎng)上看到過一些文章,以前使用robots時都只是簡單的禁止搜索引擎收錄,其實如果你合理正確的使用robots,對網(wǎng)站SEO是有很大幫助的。
robots.txt基本介紹
robots.txt是一個純文本文件,在這個文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被robots訪問的部分,或者指定搜索引擎只收錄指定的內(nèi)容。robots.txt必須放置在一個站點的根目錄下,而且文件名必須全部小寫。
當一個搜索蜘蛛(有的叫搜索機器人)訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt文件,如果存在,搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在,那么搜索機器人就沿著鏈接抓取。
robots.txt寫作語法
首先,我們來看一個robots.txt范例的具體內(nèi)容如下:
#Robots.txtfilefromhttp://www.gxxx.cn
#Allrobotswillspiderthedomain
User-agent:*
Disallow:
以上文本表達的意思是允許所有的搜索機器人訪問www.gxxx.cn站點下的所有文件。
具體語法分析:其中#后面文字為說明信息;User-agent:后面為搜索蜘蛛的名稱,后面如果是*,則泛指所有的搜索蜘蛛;Disallow:后面為不允許訪問的文件目錄。下面,我將列舉一些robots.txt的具體用法:
robots.txt具體用法
1、允許所有的robot訪問
User-agent:*
Disallow:
或者也可以建一個空文件“/robots.txt”file
2、禁止所有搜索引擎訪問網(wǎng)站的任何部分
User-agent:*
Disallow:/
3、禁止所有搜索引擎訪問網(wǎng)站的幾個部分(下例中的aa、bb、cc目錄)
User-agent:*
Disallow:/aa/
Disallow:/bb/
Disallow:/cc/
4、禁止某個搜索引擎的訪問(下例中的BadBot)
User-agent:BadBot
Disallow:/
5、只允許某個搜索引擎的訪問(下例中的Crawler)
User-agent:Crawler
Disallow:
User-agent:*
Disallow:/
分享名稱:正確使用Robots寫法進行SEO
當前鏈接:http://redsoil1982.com.cn/news11/325811.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供全網(wǎng)營銷推廣、網(wǎng)站導(dǎo)航、企業(yè)建站、品牌網(wǎng)站建設(shè)、云服務(wù)器、手機網(wǎng)站建設(shè)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容