网站如何屏蔽部分蜘蛛爬行？
在服务器的根目录下，创建一个新的robots.txt文件，添加不希望蜘蛛爬行的目录:
写作方法
1.如果您站点中的所有文件都可以被蜘蛛抓取和包含，那么语法如下所示:
用户代理:*Disallow:当然，如果你网站中的所有文件都可以被搜索引擎索引，你可以不去管这个文件。
2.完全禁止写搜索引擎访问的Robots.txt文件:
用户代理:*
不允许:/
2.1.禁止写入搜索引擎访问的Robots.txt文件:
用户代理:Googlebot
不允许:/
3.网站中的一个文件夹不希望搜索引擎包含的Robots.txt文件被写入:
用户代理:*
不允许:/admin/
不允许:/images/
4.谷歌被禁止抓取网站中的图片文件:
用户代理:Googlebot