1、网站想要让所有的搜索引擎抓取（常用写法）
User-agent: *
Allow: /2、禁止所有搜索引擎访问网站的所有部分
User-agent: *
Disallow: /3、禁止百度索引你的网站
User-agent: Baiduspider
Disallow: /4、禁止Google索引你的网站
User-agent: Googlebot
Disallow: /5、禁止除Google外的一切搜索引擎索引你的网站
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /6、禁止除百度外的一切搜索引擎索引你的网站
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /7、禁止蜘蛛访问某个目录（例如禁止admin\css\images被索引）
User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/8、允许访问某个目录中的某些特定网址
User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/原创文章，作者：奶爸SEO，如若转载，请注明出处：https://www.naibaseo.com/330.html
