不想让百度收录我的网站怎么办？
可以通过设置根目录下的robots.txt文件来限制百度的收入。Robots.txt必须放在站点的根目录下，文件名必须全部小写。robots.txt文件的格式
用户代理:定义搜索引擎的类型。
不允许:定义禁止被搜索引擎包括的地址。
允许:定义允许被搜索引擎包含的地址。
我们常用的搜索引擎类型有:
谷歌:谷歌机器人
百度:baiduspider
雅虎:咕嘟
Alexa spider: ia_archiver
Msn: msnbot
Altavista蜘蛛:滑板车
Lycos spider: lycos_spider_(霸王龙)
所有网络蜘蛛:快速网络爬虫
inktomi Spider:slurprobots . txt文件的编写方法
用户代理:*这里*代表各种搜索引擎，*是通配符。
Disallow: /admin/这里的定义是禁止对admin目录下的目录进行爬网。
Disallow: /require/这里的定义是禁止对require目录下的目录进行爬网。
disallow:/ABC ABC这里的定义是禁止对ABC的整个目录进行爬网。
不允许:/cgi-bin/*。禁止访问/cgi-bin/目录中所有以“.”开头的文件。htm & quot带后缀的URL(包括子目录)。
不允许:/*？*禁止访问网站中的所有动态页面。
不允许:/jpg$禁止抓取所有图片。网页上的jpg格式。
不允许:/ab/ADC . html禁止对AB文件夹下adc.htmlIt的所有文件进行爬网。
用户代理:*这里*代表各种搜索引擎，*是通配符。
Allow: /cgi-bin/这里的定义是允许抓取cgi-bin目录下的目录。
Allow: /tmp在这里定义为允许爬网tmp的整个目录。
允许:。htm$仅允许访问“”。htm & quot带后缀的URL。
允许:。gif$允许你抓取网页和gif图片。robots.txt文件用法示例