代理加盟 2019全新代理計劃 賺錢+省錢雙管齊下,獨立平臺,豐厚利潤!

您現在的位置: 秀站網 > 站長學院 > SEO資訊 >

什么是robots協議對seo的影響

來源:未知 發布時間:2019-03-30熱度:我要評論
什么是robots協議 蜘蛛spider在訪問一個網站時,會首先會檢查該網站的根域下是否有一個叫做 robots.txt的純文本文件,這個文件用于 指定spider在您網站上的抓取范圍 。早期robots協議是防止網站內的隱私,防止抓取用戶不想讓搜索引擎曝光的頁面。 robots.txt文件位置 r...

織夢模板免費下載,無需注冊無需充值

robots協議的作用

什么是robots協議

蜘蛛spider在訪問一個網站時,會首先會檢查該網站的根域下是否有一個叫做 robots.txt的純文本文件,這個文件用于指定spider在您網站上的抓取范圍。早期robots協議是防止網站內的隱私,防止抓取用戶不想讓搜索引擎曝光的頁面。

robots.txt文件位置

robots.txt文件應該放置在網站根目錄下。比如https://www.vi586.com/robots.txt這個文件

robots一般格式

User-agent: *
Disallow: 
allow:

robots不支持中文

百度蜘蛛目前在robots里不支持中文,如果路徑里面帶了中文,可以選擇UrlEncode編碼的寫法,如

http://www.xx.com/tags/%D7%B0%D0%DE%CE%AC%BB%A4%B1%A3%D1%F8.html

"*"和"$"的含義

Baiduspider支持使用通配符"*"和"$"來模糊匹配url。

"$" 匹配行結束符。
"*" 匹配0或多個任意字符。

robots協議對seo優化的影響

1.屏蔽隱私內容或無內容頁面。前面提到蜘蛛的爬取對索引量有著重要的作用,能縮短收錄周期。蜘蛛一般都會全站爬取內容,但有些質量一般的頁面被抓取會影響整體排名,比如:登陸頁、注冊頁、購物車、表綱、個人隱私文件等。

2.屏蔽某些動態的內容屏蔽,如:tag標簽,在剛開始的時候盡量屏蔽蜘蛛抓取,到后期穩定的時候再整理后開放。tag標簽的作用可以參考《TAG標簽的正確用法》

3.屏蔽重復內容頁面。如:多個頁面無內容或空評論;不同路徑打開的頁面都一樣。跟帶www和不帶www的頁面說法不一樣,可以把這兩個頁面301重定向到其中一個,集中權重。

4.屏蔽死鏈接。一般的死鏈會返回404錯誤,當然站內錯誤或服務器問題,是無法屏蔽的。

robots的主要功能

1.禁止蜘蛛抓取

dede后臺有很多php、js、css等內容,但這些內容對排名沒有太大作用,可以使用disallow禁止抓取

User-agent: sogou spider
Disallow: /

代表禁止搜狗蜘蛛進行抓取,在中國大陸范圍內,一般的企業網站只要百度蜘蛛,谷歌蜘蛛,360蜘蛛就可以了,其他蜘蛛頻繁抓取網站會造成網站訪問速度受到影響。如果禁止這些蜘蛛進行抓取,搜索引擎認為你是不友好的。

2.引導蜘蛛抓取

Sitemap: http://www.vi586.com/sitemap.xml

以上字段是引導蜘蛛按照sitemap網站地圖的要求抓取。蜘蛛的抓取順序是按照編寫自上而下,如果控制得越精確,則遵循精確的規則。

3.控制抓取范圍

該行有符號“/”,代表著只包含該欄目下的文章/目錄/子類,不包含本身;

反之無“/”,代表包含包含該欄目下的文章/目錄/子類和本身。

4.舉例最常見的robots.txt寫法

DedeCMS的robots的寫法:

User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/feedback.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /plus/heightsearch.php
Disallow: /tags.php
Disallow: /member
Disallow: /include
Disallow: /templets
User-agent: sogou spider
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: Teoma
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: Scrubby
Disallow: /
User-agent: Robozilla
Disallow: /
User-agent: Nutch
Disallow: /
Sitemap: http://www.vi586.com/sitemap.xml

這里要注意網站地圖網站robots的最后面,讓搜索引擎先遵循抓取范圍再引導抓取結構。

robots安全重要說明

robots不管是對搜索引擎還是對任何人都是可以訪問的,容易暴露某些隱私或后臺程序,而每個建站程序都有漏洞,樹大才招風,黑客利用這些漏洞做些不好的事情,后果不堪設想。一般的大型網站都是自己搭建程序,成本較高,漏洞也較少(只是沒那么多人攻擊)。

對DEDE、DZ、PW等使用的比較多的建站程序,有很多開源的功能,沒有經驗的站長很容易成為別人的“肉雞”,經常檢查自己網站的外鏈、快照情況就能發現是不是被人動了手腳。查看文章《別讓網站的robots成為最大的漏洞》。

本文地址:http://www.yxrxyy.live/seo/1214.html

責任編輯:秀站網

    發表評論

    評論列表(條)

      北京28是什么彩票