Robots.txt文件就是網站根目錄下面的純文本文件，是蜘蛛索引網站時第一個要讀取的文件，它用于指定spider在網站上的抓取范圍。可以用來做優化減少無效頁面的收錄。濟南文匯傳媒作為專業的濟南建站公司，會為客戶充分考慮到優化問題，在編寫程序、代碼的時候就會合理設置，方便中小企業后期的網站運營。
第一：如何正確書寫robots.txt文件，robots.txt文件的書寫格式是什么？
要想正確的書寫robots文件，首頁要對文件的基本函數進行了解：

User-agent：在后面加上* 意思是允許任何搜索引擎對網站進行抓取;User-agent: Baiduspider意思是允許百度搜索引擎對網站進行抓取，如果網站中只寫了這個屬性，那就表明此網站只接受百度蜘蛛的抓取，其他蜘蛛不可以索引。

Disallow：這個函數的意思是靜止蜘蛛訪問函數后面的網站目錄，如果網站所有的都允許那就寫：如果都允許收錄: Disallow:，像淘寶網的文件中寫到，禁止百度蜘蛛的抓取，網站任何位置都不允許抓取。

Allow:該項的值用于描述希望被訪問的一組URL，與Disallow項相似，這個值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項的值開頭的URL 是允許robot訪問的。例如"Allow:/hibaidu"允許robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個網站的所有URL默認是Allow的，所以Allow通常與Disallow搭配使用，實現允許訪問一部分網頁同時禁止訪問其它所有URL的功能。

使用"*"and"$"：Baiduspider支持使用通配符"*"和"$"來模糊匹配url。

"*" 匹配0或多個任意字符
"$" 匹配行結束符。
第二：設置Robots.txt文件時應注意哪些事項？
1、作為搜索引擎最先訪問的目錄，過長的robots文件也會影響蜘蛛的爬取速度，所以對于禁止搜索引擎的網頁，可以適度的去使用noffollow標記，使其不對該網站傳遞權重。

2、在robots設置當中關于Disallow當中/和//的區別。舉例：Disallow; /a 與Disallow: /a/的區別，很多站長都見過這樣的問題，為什么有的協議后加斜杠，有的不加斜杠呢?筆者今天要說的是：如果不加斜杠，屏蔽的是以a字母開頭的所有目錄和頁面，而后者代表的是屏蔽當前目錄的所有頁面和子目錄的抓取。

通常來講，我們往往選擇后者更多一些，因為定義范圍越大，容易造成“誤殺”。

3、對于Disallow和Allow的設置是有先后順序之分的，搜索引擎會根據第一個匹配成功的Allow與Disallow來確定首先訪問那個url地址。

4、已經刪除的目錄屏蔽不建議使用Robots.txt文件屏蔽。很多站長往往刪除一些目錄后，怕出現404問題，而進行了屏蔽，禁止搜索引擎再抓取這樣的鏈接。事實上，這樣做真的好嗎?即使你屏蔽掉了，如果之前的目錄存在問題，那么沒有被蜘蛛從庫中剔除，同樣會影響到網站。

   建議最佳的方式是：將對應的主要錯誤頁面整理出來，做死鏈接提交，以及自定義404頁面的處理，徹底的解決問題，而不是逃避問題。

5、在robots設置當中“*”和“$”的設置，其中”$” 匹配行結束符。”*” 匹配0或多個任意字符。