如何拒绝将我的网站纳入搜索引擎？
例1。禁止所有搜索引擎访问网站的任何部分\ x0d \ x00auser-agent:* \ x0d \ x00a disallow:/\ x0d \ x0a示例分析:Robots.txt文件\ x0d \ x00a user-agent:百度蜘蛛\ x0d \ x \x0d\x0a示例2。允许所有机器人访问(或者您可以创建一个空文件”/robots.txt “文件)\ x0d \ x00auser-agent: * \ x0d \ x0a示例3。禁止搜索引擎的访问\x0a禁止访问:/\x0d\x0a示例4。允许一个搜索引擎访问\ x0d \ x00auser-agent:百度蜘蛛\ x0d \ x00a allow:/\ x0d \ x0a例5。一个简单的例子\ x0d \ x00auser-agent: * \ x0d \。x0a disallow:/tmp/\ x0d \ x0a disallow:/~ Joe/\ x0d \ x0a user-agent:有特殊含义，代表“anyrobot”，所以不能有“disallow:/tmp/*”或“disallow: *”。gif”文件中。\x0d\x0a在这个例子中，网站有三个限制搜索引擎访问的目录，即搜索引擎不会访问这三个目录。\x0d\x0a需要注意的是，每个目录必须单独声明，而不是写成“Disallow:/cgi-bin//tmp/”。