接下来通过这篇文章，企业网站管理系统会带领大家一起了解wordpress中robots要怎么写。
robots.txt是一个放置在网站根目录的协议，它是搜索引擎进入网站的必经关卡，robots文件能告知进入网站的搜索引擎spider，这个网站中哪些网站是允许爬取的，哪些是禁止爬取的。
robots的语法很丰富，最常用的两个命令有两个：User-Agent和Disallow。
User-Agent：适用下列规则的漫游器，一般常写为：
User-agent：*
星号（*）表示面对所有搜索引擎爬虫spider程序，比如Google的“Googlebot”，百度的“Baiduspider”等。
Disallow：要拦截的网页，即不允许搜索引擎访问和索引的目录。robots文件中至少要有一个Disallow，如果都允许收录，则写:
Disallow: ，如果都不允许收录，则写:Disallow: / （注：只是差一个斜杆）。Disallow的用法非常多，具体如下：
1、屏蔽spider捉取程序文件，同时也节约了搜索引擎蜘蛛资源。
Disallow：/wp-admin/
Disallow：/wp-content/
Disallow：/wp-includes/
2、每个默认的文章页面代码里，都有一段trackback的链接，如果不屏蔽让蜘蛛去捉取，网站会出现重复页面内容问题。
Disallow：/*/trackback
3、头部代码里的feed链接主要是提示浏览器用户可以订阅本站，而一般的站点都有RSS输出和网站地图，故屏蔽搜索引擎捉取这些链接，节约蜘蛛资源。
Disallow：/feed
Disallow：/*/feed
Disallow：/comments/feed
4、屏蔽捉取站内搜索结果。站内没出现这些链接不代表站外没有，如果收录了会造成和TAG等页面的内容相近。
Disallow：/?s=*
Disallow：/*/?s=*
5、屏蔽留言链接插件留下的变形留言链接。（没安装相关插件当然不用这条指令）
Disallow：/?r=*
6、屏蔽捉取任何图片文件，在这里主要是想节约点宽带，不同的网站管理员可以按照喜好和需要设置这几条指令。
Disallow：/*.jpg$
Disallow：/*.jpeg$
Disallow：/*.gif$
Disallow：/*.png$
Disallow：/*.bmp$
7、屏蔽捉取短链接。默认头部里的短链接，百度等搜索引擎蜘蛛会试图捉取，虽然最终短链接会301重定向到固定链接，但这样依然造成蜘蛛资源的浪费。
Disallow：/?p=*
8、屏蔽捉取留言信息链接。一般不会收录到这样的链接，但为了节约蜘蛛资源，也屏蔽之。
Disallow：/*/comment-page-*Disallow：/*?replytocom*
9、屏蔽其他的一些形形色色的链接，避免造成重复内容和隐私问题。
Disallow：/a/date/
Disallow：/a/author/
Disallow：/a/category/
Disallow：/?p=*&preview=true
Disallow：/?page_id=*&preview=true
Disallow：/wp-login.php
Sitemap：如果说sitemap是给搜索引擎爬虫指路的地图，那么robots则是看守网站的一道门。
sitemap在robots文件的写法如下：
Sitemap:http://***.com/sitemap.txt
切记S是大写的！如果读完这篇文章还不知道robots.txt文件是什么的，可以查看Robots.txt---对搜索引擎友好的网页设计。
当然以上介绍的Disallow和Sitemap并非全部必须，可以按您网站的具体情况写入，同时可以用google管理工具测试robots.txt是否合乎规范。