• 18038435860

    robots.txt寫法詳解

    時間:2018-09-14 20:20:08 點擊:886 來源:易速網絡

    robots.txt對于任何一個做網站的人應該都不陌生,它只是一個純文本文件,但是卻可以限制搜索引擎蜘蛛對網站的爬行,下面具體介紹一下robots.txt。

    robots.txt簡介

    robots.txt位于網站的根目錄下,當spider訪問一個網站(例:http://www.carinsurancequotessign.com)時候,首先會檢查該網站中是否存在http://www.yiisu/robots.txt這個文件,如果存在就會遵循robots.txt的規則去爬行網站。

    robots.txt寫法

    注:robots.txt區分大小寫,如php.html和PHP.html會被識別為不同的文件,書寫robots.txt時所有字符均為英文半角。

    1、例子

    User-agent: Baiduspider

    Disallow: /

    這是拒絕百度蜘蛛訪問的寫法。

    2、User-agent

    User-agent表示搜索引擎robot的名字,書寫robots.txt必須有User-agent

    User-agent:*

    表示所有的robot

    User-agent:Baiduapider

    表示百度spider

    3、Disallow

    Disallow表示不允許訪問

    Disallow:

    不允許訪問為空,表示允許訪問任何目錄

    Disallow: /

    表示不允許訪問任何目錄,注:在/前有一個空格

    4、Allow

    Allow表示允許訪問,意思和用法與Disallow相反,在此不再過多敘述。

    具體用法舉例

    1、允許所有蜘蛛訪問所有目錄

    User-Agent: *

    Allow: /

    2、禁止所有蜘蛛訪問

    User-Agent: *

    Disallow: /

    3、允許所有蜘蛛訪問某個目錄

    User-Agent: *

    Allow: /php/

    4、禁止蜘蛛訪問某幾個目錄

    User-Agent: *

    Disallow: /php/

    Disallow: /java/

    5、禁止蜘蛛訪問動態頁面

    User-Agent: *

    Disallow: /*?*

    884HUTV四虎永久 <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <文本链> <文本链> <文本链> <文本链> <文本链> <文本链>