如何查看robots.txt网站的内容
robots文件一般放在网站的根目录下，查看起来非常简单，
只需在你的网址后输入:robots.txt
以百度的机器人为例:www.baidu.com/robots.txt
如果觉得有用，记得赞一下！
robotframework怎么打开robot格式文件？
robot后缀的文件其实就是文本文件，跟普通的txt没有差别。 命令行环境下直接使用pybot命令即可运行测试脚本，也可以用RIDE界面工具打开测试文件。 如果仅仅想查看编辑测试脚本，则可以使用任何文本编辑器（如windows记事本）即可打开robot后缀的文件。
网站里的“robots”文件是什么意思？
搜索引擎爬去我们页面的工具叫做搜索引擎机器人，也生动的叫做“蜘蛛”
蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。这个文件其实就是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意全部抓取网页。
Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取。
举个例子：建立一个名为robots.txt的文本文件，然后输入User-agent: * 星号说明允许所有搜索引擎收录Disallow: index.php? 表示不允许收录以index.php?前缀的链接，比如index.php?=865Disallow: /tmp/ 表示不允许收录根目录下的tmp目录，包括目录下的文件，比如tmp/232.html
网站内部优化怎么做？
Robot.txt
次导航
404页面设置、301重定向
网站地图
图片Alt、title标签
标题
关键词
描述
关键字密度
个别关键字密度
H1H2H3中的关键字
关键字强调
外链最好nofollow
为页面添加元标记meta
丰富网页摘要(微数据、微格式和RDFa)
@卢松松