歡迎來到合肥浪訊網(wǎng)絡(luò)科技有限公司官網(wǎng)
  咨詢服務(wù)熱線:400-099-8848

阿里解禁1050億美元股票:市場聚焦雅虎策略

發(fā)布時間:2016-03-19 文章來源:  瀏覽次數(shù):4154
Robots文件是網(wǎng)站和蜘蛛程序之間的“正人協(xié)議”——robots文件不僅僅可以節(jié)省網(wǎng)站的資源,還可以匡助蜘蛛更加有效的抓取網(wǎng),從而進(jìn)步排名。
1:只答應(yīng)谷歌bot
假如要攔截除谷歌bot之外的所有爬蟲:
User-agent:*
disallow:/
Uer-agent:答應(yīng)的蜘蛛名
Disallow:
2:“/folder/”和“/folder”的區(qū)別
舉個例子:
User-agent:*
Disallow:/folder/
Disallow:/folder
“Disallow:folder/”表示攔截的是一個目錄,該目錄文件下的所有文件不答應(yīng)被抓取,但是答應(yīng)抓取folder.hlml。
“Disallow:/folder”:對/folder/下的所有文件和folder.html都不能被抓取。
3:“*”匹配任意字符
User-agent:*
表示屏蔽所有的蜘蛛。當(dāng)我們做了偽靜態(tài)處理之后,會同時又動態(tài)網(wǎng)頁和靜態(tài)網(wǎng)頁,網(wǎng)頁內(nèi)容一模一樣,視為鏡態(tài)頁面,所以我們要屏蔽掉動態(tài)的網(wǎng)頁,可以用*號來屏蔽動態(tài)的網(wǎng)頁
User-agent:*
Disallow:/?*?/
4:$匹配網(wǎng)址結(jié)束
假如要攔截以某個字符串結(jié)束的網(wǎng)址,就可以使用$,例如,要攔截以.asp結(jié)束的網(wǎng)址:
User-agent:*
Disallow:/*.asp$
也可以打開比較優(yōu)秀的網(wǎng)站,看他們的robots文件是如何書寫的,然后根據(jù)自己的需求進(jìn)行相應(yīng)的修改。Robots文件可以讓蜘蛛把更多的時間花在要抓取的內(nèi)容上,所以優(yōu)化robots文件是很有必要的。

上一條:一個創(chuàng)業(yè)公司倒下的128...

下一條:特斯拉遭保時捷奧迪寶馬圍...

日韩中文字幕无码专区,国产成人综合亚洲欧美,日本日本熟妇中文在线视频,久久免费只有精品国产,色综合久久天天,思思re热免费精品,国产精品久久久久久久,国内自产少妇自拍区免费 亚太影院 柯西贝尔-游戏赚网
人妻有码av中文字幕久久| 国产综合色产在线精品| 五十路熟妇无码AV在线| 亚洲精品无码av中文字幕电影网站| 91高清免费国产自产拍| 少妇高潮毛片免费看| 国产专区在线观看无码| 亚洲男人综合久久综合天| 亚洲 欧美 另类 日韩 综合| 久久久综合香蕉尹人综合网| 国产激情黄色在线观看| 美国无码一级黄视频| 国产精品十八禁在线观看| 99在线精品视频观看免费| 69式真人无码精品视频免费| 人妻无码中文专区久久综合| 中文字幕日本熟女| 精品白嫩国产美女流白浆在线观看| 亚洲中文无码男人的天堂网络| 国产制服丝袜无码视频| 亚洲精品无码国模| 人妻美乳无码视频| 亚洲日韩乱码人人爽人人澡人人| 国产精品偷伦视频免费观看了| 精品亚洲欧美在线看| 好吊妞无码在线免费观看| 亚洲熟妇真实自拍另类| 亚洲中文无码黄片精品视频| AV入口在线免费| 老色鬼在线精品视频网站| 成人动漫精品一区二区二区| 国产高清日韩无码一区二区| 国产又色又爽又刺激在线观看| 国产午夜精品一区二区三区| 亚洲视频在线观看无码| 欧美伊人色综合久久| 国产亚洲av免费网站| 性色av不卡无码一区二区| 欧美日韩中文字幕第一页| 亚洲欧美视频在线观看| 日韩av毛片中文|