robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件，想要网站被收录，必须要些robots.txt
准备一个域名，空间。域名就是大家所谓的网址，空间就是这个网站所存储的地方。
域名准备好之后就开始建站了，建完站首先要分析要不要被搜索引擎抓取页面然后展现。这个时候就要开始些robots文件了。举例来说,当spider访问一个网站(比如http://mip.shenbaiyi.com)时,首先会检查该网站中是否存在http://mip.shenbaiyi.com/robots.txt这个文件，如果robots禁止搜索引擎抓取的话，那么搜索引擎就不会对网站进行索引并展现
那么怎么样能不让搜索引擎抓取呢?又怎么能让搜索引擎抓取呢?那么就要说下disallow和allow这两个命令的用法了。首先user-agent是代表搜索引擎能否抓取页面的开始。下面就是disallow和allow的选择了。详细的写法如下。
robots.txt文件用法举例：
1.允许所有的robot访问
user-agent:*allow:/或者user-agent:*disallow:
2.禁止所有搜索引擎访问网站的任何部分
user-agent:*
disallow:/
3.仅禁止baiduspider访问您的网站
user-agent:baiduspider
disallow:/
4.仅允许baiduspider访问您的网站
user-agent:baiduspider
disallow:
5.禁止spider访问特定目录
user-agent:*
disallow:/cgi-bin/
disallow:/tmp/
disallow:/~joe/
6.允许访问特定目录中的部分url
user-agent:*
allow:/cgi-bin/see
allow:/tmp/hi
allow:/~joe/look
disallow:/cgi-bin/
disallow:/tmp/
disallow:/~joe/
7.使用”*”限制访问url
禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的url(包含子目录)。
user-agent:*
disallow:/cgi-bin/*.htm
8.使用”$”限制访问url
仅允许访问以”.htm”为后缀的url。
user-agent:*
allow:.htm$
disallow:/
例9.禁止访问网站中所有的动态页面
user-agent:*
disallow:/*?*
10.禁止baiduspider抓取网站上所有图片
仅允许抓取网页，禁止抓取任何图片。
user-agent:baiduspider
disallow:.jpg$
disallow:.jpeg$
disallow:.gif$
disallow:.png$
disallow:.bmp$
通常的robots写法就是上面的10种了，如果还有其他写法，后续会给大家详细的介绍。
