歡迎來到合肥浪訊網(wǎng)絡(luò)科技有限公司官網(wǎng)
  咨詢服務(wù)熱線:400-099-8848

阿里解禁1050億美元股票:市場聚焦雅虎策略

發(fā)布時間:2016-03-19 文章來源:  瀏覽次數(shù):4154
Robots文件是網(wǎng)站和蜘蛛程序之間的“正人協(xié)議”——robots文件不僅僅可以節(jié)省網(wǎng)站的資源,還可以匡助蜘蛛更加有效的抓取網(wǎng),從而進(jìn)步排名。
1:只答應(yīng)谷歌bot
假如要攔截除谷歌bot之外的所有爬蟲:
User-agent:*
disallow:/
Uer-agent:答應(yīng)的蜘蛛名
Disallow:
2:“/folder/”和“/folder”的區(qū)別
舉個例子:
User-agent:*
Disallow:/folder/
Disallow:/folder
“Disallow:folder/”表示攔截的是一個目錄,該目錄文件下的所有文件不答應(yīng)被抓取,但是答應(yīng)抓取folder.hlml。
“Disallow:/folder”:對/folder/下的所有文件和folder.html都不能被抓取。
3:“*”匹配任意字符
User-agent:*
表示屏蔽所有的蜘蛛。當(dāng)我們做了偽靜態(tài)處理之后,會同時又動態(tài)網(wǎng)頁和靜態(tài)網(wǎng)頁,網(wǎng)頁內(nèi)容一模一樣,視為鏡態(tài)頁面,所以我們要屏蔽掉動態(tài)的網(wǎng)頁,可以用*號來屏蔽動態(tài)的網(wǎng)頁
User-agent:*
Disallow:/?*?/
4:$匹配網(wǎng)址結(jié)束
假如要攔截以某個字符串結(jié)束的網(wǎng)址,就可以使用$,例如,要攔截以.asp結(jié)束的網(wǎng)址:
User-agent:*
Disallow:/*.asp$
也可以打開比較優(yōu)秀的網(wǎng)站,看他們的robots文件是如何書寫的,然后根據(jù)自己的需求進(jìn)行相應(yīng)的修改。Robots文件可以讓蜘蛛把更多的時間花在要抓取的內(nèi)容上,所以優(yōu)化robots文件是很有必要的。

上一條:一個創(chuàng)業(yè)公司倒下的128...

下一條:特斯拉遭保時捷奧迪寶馬圍...

日韩中文字幕无码专区,国产成人综合亚洲欧美,日本日本熟妇中文在线视频,久久免费只有精品国产,色综合久久天天,思思re热免费精品,国产精品久久久久久久,国内自产少妇自拍区免费 亚太影院 柯西贝尔-游戏赚网
国产尤物在线视精品在亚洲| 97精品人妻系列无码网曝| 日本免费三区激情视频在线看| 久久免费无码高潮| 亚洲欧美在线中文字幕不卡| 国产V精品V欧美V日韩V| 亚洲尤物av无码色av无码| 久久精品合集精品视频| 丰满少妇人妻无码13p在线| 日韩不卡精品无码人妻| 国产一级无码免费视频| 亚洲人成在线免费福利| 亚洲一二三级看视频香蕉| 日韩伦精品一区二区三区一级| 自在线看精品国产高清| 91久久国产精品| 人妻aⅴ中文字幕无码| AV在线大片不卡可观看| 91久久精品日日躁夜夜躁欧美| 亚洲日韩中文在线| 人妻少妇无码av无码专区| 久久国产亚洲精品免费观看| 久久午夜无码观看| av无码久久精品| 无码a级毛片免費视频内谢| 香蕉97人人乳视频观看| 成在人线av无码免费高潮喷水| 久久精品国产免费播| 狠狠色综合久久婷婷| 国产成a人片在线观看视频| 日韩精品无码综合视频网| 国产精品初高中在线播放| 一区二区婷婷在线视频| 无码精品日韩一区二区三区| 亚洲欧洲第一黄片| 成人国产精品自在欧美一区| 中文无码黄色视频| 国产中文字幕精品视频| 中文无码字幕中文有码字幕| 人妻无码二区自慰系列| 国产精品高潮露脸口爆|