2015-06-04 分類: 網(wǎng)站建設(shè)
當我們成都網(wǎng)站建設(shè)的網(wǎng)站剛上線后,都希望網(wǎng)站被盡快收錄,于是會去吸引蜘蛛的到來,蜘蛛到來的頻率過高有時候會導(dǎo)致iis資源耗盡,網(wǎng)站中時常數(shù)出現(xiàn)service unavoidable的提示,這個詞的出現(xiàn)可以直接表現(xiàn)為訪問量很小。
是蜘蛛的到來引起我們網(wǎng)站資源的缺乏,是蜘蛛耗盡服務(wù)器資源的,所以我們的解決辦法就針對蜘蛛進行。利用robots.txt中的disallow屏蔽部分沒有實際意義的內(nèi)容。
格式如下:
user-agent:*
disallow:/search.html
disallow:/index.php?
disallow:/tempweb/
說明:
user-agent:*: *代表允許所有的搜索引擎來抓取數(shù)據(jù)。
disallow:/search.html:不允許收錄/search.html這個文件的數(shù)據(jù)。
disallow:/index.php?:不允許收錄以/index.php?為前綴的鏈接。
disallow:/tempweb/:不允許收錄/tempweb/里所有的文件,但可以收錄如:/tempwebtaim.html的鏈接。
本文標題:蜘蛛耗盡服務(wù)器資源分析
瀏覽地址:http://redsoil1982.com.cn/news/19142.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供服務(wù)器托管、網(wǎng)站維護、自適應(yīng)網(wǎng)站、手機網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站排名
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容