91亚洲精品国产第一区_和女领导做爰呻吟_天干天夜啪天天碰_黄色在线免费电影

      百度，360，搜狗等搜索引擎在訪問一個網(wǎng)站的時候，最開始做的動作是檢查該網(wǎng)站的根域名下是否有一個叫robots.txt的純文本文件，該文件用于指定搜索引擎蜘蛛在網(wǎng)站上的抓取范圍。由于很多網(wǎng)站的一些頁面存在隱私或者是敏感內(nèi)容，因此需要告訴搜索引擎蜘蛛網(wǎng)站中的哪些頁面是不允許抓取的，這就是Robots文件的作用。

      一、Robot指令：

     1，User-agent: 該指令定義了此指令下面的內(nèi)容對哪些蜘蛛有效。默認所有蜘蛛都允許抓取，如果此指令指定了特定的蜘蛛，那么此指令下跟的內(nèi)容就對特定蜘蛛有效。

     2，Disallow: 該指令定義了禁止蜘蛛抓取哪些頁面，有些人可能認為，做網(wǎng)站當(dāng)然都希望被抓取了。但是如果是后臺或是隱私文件，相信誰都不愿意被抓取的。

     3，Allow: 該指令定義了允許蜘蛛抓些哪些內(nèi)容，如果是某些內(nèi)容允許，其它全部拒絕，則可以用這個指令，大多數(shù)網(wǎng)站只用到禁止指令。

     4，Sitemap：就是我們常說的網(wǎng)站地圖了，把站點地圖放在Robots下面，可以方便蜘蛛直接在訪問Robots時就訪問到你的地圖位置。

      二、robots的作用：

      1、屏蔽死鏈接。由于改版等原因，我們網(wǎng)站會產(chǎn)生死鏈接，那么這個時候我們就需要通過robots來屏蔽這些死鏈接。我們可以通過下載網(wǎng)站日志來查看我們的404頁面，用txt打開網(wǎng)站日志，通過搜索“404”，如果你網(wǎng)站有404頁面，并且被訪問到了，那么這個時候就會被網(wǎng)站日志給記錄。

      2、把沒有價值的頁面屏蔽掉。很多網(wǎng)站都有一些沒有價值的頁面，比如說SEO指導(dǎo)中心的用戶個人中心頁面，這個個人中心頁面不會對網(wǎng)站產(chǎn)生價值，在百度上面的展現(xiàn)也不會給網(wǎng)站帶來權(quán)重。因此我們需要利用robots來屏蔽這樣的頁面。又比如說：一個企業(yè)網(wǎng)站的聯(lián)系我們頁面，這種頁面不會給網(wǎng)站帶來權(quán)重，用戶也不會去搜索“聯(lián)系我們”來找他想要的產(chǎn)品。因此我們需要把這種頁面同時屏蔽。

      3、把重復(fù)路徑屏蔽掉。當(dāng)你網(wǎng)站出現(xiàn)重復(fù)路徑的時候，百度將會對我們的網(wǎng)站進行直接降分，比如說：一個網(wǎng)站做了偽靜態(tài)，同時他的動態(tài)頁面也可以訪問，這個時候就會出現(xiàn)重復(fù)路徑。因此我們需要通過robots屏蔽這些重復(fù)路徑。

      不平凡軟件，鄭州軟件開發(fā)公司，鄭州軟件開發(fā)，鄭州軟件定制，鄭州微信開發(fā)，鄭州進銷存定制開發(fā)，鄭州OA系統(tǒng)開發(fā)，鄭州軟件開發(fā)公司