Robots.txt文件看似只有幾行字母，但是其實有很多細節(jié)需要注意的。因為如果你不注意這些細節(jié)，有的語句將不會發(fā)揮效果，甚至出現反效果。robots.txt文件是搜索引擎進入文匯軟件站點后訪問的第一個文件，文匯軟件（濟南網站建設）提醒大家robots.txt文件寫的好不好直接關系到站點的seo能否順利進行。
1、robots的用法
User-agent：定義進制搜索引擎名字，比如說：百度（Baiduspider）、谷歌（Googlebot）、360（360Spider）等。*號代表全部搜索引擎
Disallow：不允許收錄
Allow：允許收錄
案例：
User-agent: * （聲明禁止所有的搜索引擎抓取以下內容）
Disallow：/blog/（禁止網站blog欄目下所有的頁面。比如說：/blog/123.html）
Disallow：/api（比如說：/apifsdfds/123.html也會被屏蔽。）
Allow：/blog/12/（一般情況下不需要寫Allow的，而我們在禁止的目錄下面，我們需要讓搜索引擎收錄，那么我們就可以使用Allow，比如說我們前面禁止了blog欄目下所有的頁面，同時我們想/12/欄目下被收錄，這個時候我們就需要通過Allow來允許搜索引擎的收錄。）
Disallow：*?*（只要你的路徑里面帶有問號的路徑，那么這條路徑將會被屏蔽
Disallow：/*.php$（意思是以.php結尾的路徑全部屏蔽掉。）
對于robots.txt文件的重要性想必很多站長都深有體會。如果濟南網站建設不重視這些書寫的小細節(jié)的不僅會失去robotss.txt原有的效果，還會引起不必要的反效果。
上一篇： 如何提升公司產品的知名度
下一篇： 如何選擇b2b平臺？
