标签： robot

如何查看robots.txt网站的内容 robots文件一般放在网站的根目录下，查看起来非常简单， 只需在你的网址后输入:robots.txt 以百度的机器人为例:www.baidu.com/robo … Continue reading 如何查看robot.txt（）