點擊“robots設置”按鈕,進入“robots設置”界面后直接把相關robots語法寫入即可!別忘了點擊“保存”哦!">
購物車中還沒有商品,趕緊選購吧!
首頁  >  產品更新  >  robots.txt寫法大全及語法的靈活運用
robots.txt寫法大全及語法的靈活運用

robots在英語之中的意思是機器人,Robots協議(也稱為爬蟲協議、機器人協議等)全稱是網絡爬蟲排除標準Robots Exclusion Protocol),網站通過Robots協議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。Robots協議的本質是網站和搜索引擎爬蟲的溝通方式,用來指導搜索引擎更好地抓取網站內容,而不是作為搜索引擎之間互相限制和不正當競爭的工具。

當搜索引擎在訪問一個站點時,首先檢索的將是該站點根目錄下面的robots.txt文件(如果沒有我們可以建立一個空白的文本文檔,命名為robots.txt放在網站的根目錄下即可!),如果此文件存在,那么搜索引擎將率先訪問并識別此文件的規則,它會按照此文件里面的規則進行爬取!下面詳細敘述一下相關語法:

1、允許所有搜索引擎訪問網站的所有部分:

User-agent*

Disallow

2、禁止所有搜索引擎訪問網站的所有部分:

User-agent*

Disallow/

3、如果不需要某一個搜索引擎抓取的話,比如百度,禁止百度索引我們的網站

User-agentBaiduspider

Disallow/

注:如果我們需要禁止Google索引我們的網站,就把User-agent:蜘蛛名字改成 谷歌的Googlebot即可!

4、如果我們禁止除Google外的一切搜索引擎索引我們的網站

User-agentGooglebot

Disallow

User-agent*

Disallow/

5、如果我們需要禁止蜘蛛訪問某一個目錄,比如禁止loginnewtravel等目錄被索引

User-agent*

Disallow/login/

Disallow/newtravel/

6、如果我們允許蜘蛛訪問網站某個目錄中的某些特定網址

User-agent*

Allow/login/my

Allow/newtravel/html

Disallow/login/

Disallow/newtravel/

7、很多網站的robots.txt里的Disallow或者Allow里面會有很多的符號,比如星號、問 號什么的,如果使用“*”號,主要是限制訪問某個后綴的域名,比如禁止訪問/html/ 目錄下的所有以“.htm”為后綴的URL(包含子目錄)

User-agent*

Disallow/html/*.htm

8、使用“$”符號是僅允許訪問某目錄下某個后綴的文件

User-agent*

Allow.asp$

Disallow/

9、如果是禁止搜索引擎索引網站中所用動態的頁面(這里演示的是以“?”號為域名, 例如:index.asp?id=1

User-agent:*

Disallow/*?*

10、為了節省服務器資源,需要禁止各類蜘蛛來索引網站的圖片,除了使用常見的 Disallow:/images/”這樣直接屏蔽圖片文件夾的方式以外,還可以采取直接屏蔽圖片 后綴名的方式。如果我們禁止百度搜索引擎索引我們網站的圖片:

User-agentBaiduspider

Disallow.jpg$

Disallow.jpeg$

Disallow.gif$

Disallow.png$

11、僅允許百度抓取網站上的“JPG”格式的文件

User-agent:baiduspider

Allow.jpg$

Disallow:jpeg$

Disallow:gif$

Disallow:png$

12、僅僅禁止百度抓取網站上的“JPG”格式的文件

User-agentBaiduspider

Disallow.jpg$

更多詳細幫助,參考閱讀


robots 360百科

相關閱讀
說明

贊   1

有一點幫助   0

沒有幫助  

參與評論

他們說...

積分獲取更多
思途CMS系統更新動態
  • 2025-06-30
    1、【功能優化】推廣掛件路由引入規則優化
    2、【BUG修復】特產、門票、露營訂單短信套餐名稱為空
    3、【功能優化】積分規則優化
    4、【BUG修復】修復掃碼登陸后跳轉問題
    5、【功能優化】二次確認訂單后臺沒有可退款操作按鈕
    6、【新增功能】后臺首頁運營助手新增認證審核
    7、【BUG修復】特產申請退款,供應商端無法查看
    8、【BUG修復】設置廣告時可看到未安裝的應用
查看更多

掃一掃官方微信號

加入微信
在線客服
微信咨詢
微信咨詢
現在咨詢,獲取演示賬號
企業logo小米
立即掃碼加我微信
電話咨詢
咨詢電話
028-61558715
預約演示
主站蜘蛛池模板: 伦理片中文字幕2019在线| 国产精品99精品久久免费| 久久国产免费一区二区三区| 欧美日韩国产58香蕉在线视频| 四虎国产精品成人| 黄a级网站在线观看| 国产精品无码无卡无需播放器 | 一级女人18毛片免费| 日本在线免费看片| 免费人妻无码不卡中文字幕18禁 | 深夜福利影院在线观看| 午夜香港三级在线观看网| 阿v免费在线观看| 在线视频网站WWW色| 九九免费观看全部免费视频| 精品国产午夜理论片不卡| 国产免费人成视频在线观看| 99精品小视频| 小莹的性荡生活37章| 久久97久久97精品免视看| 日韩精品人妻系列无码专区| 免费无码又爽又刺激高潮的视频| 日本福利视频导航| 好大灬好硬灬好爽灬| 中文字幕在线观看你懂的| 日本视频在线免费| 九九热视频精品| 欧美一级黄色片在线观看| 亚洲日本在线电影| 毛片在线播放a| 亚洲视频欧洲视频| 韩国三级最新理论电影| 国产毛片久久久久久国产毛片| 69久久夜色精品国产69| 在线观看亚洲精品国产| 又大又粗又爽a级毛片免费看| 一区二区三区欧美| 最近2018免费中文字幕视频| 伦理eeuss| 精品久久久久中文字幕日本| 国产成人一区二区三区在线观看|