网站robots.txt文件如何制作附写法教程

在SEO优化过程中,对于蜘蛛的了解和控制至关重要,关于以下Robots.txt部分写法希望能够帮助大家写出利于搜索引擎优化的robots.txt文件,写好存放在站点根目录下即可,一个简单纯文本文件,虽然它的设置很简单,但是作用却很强大

网站robots.txt文件如何制作附写法教程

1、网站想要让所有的搜索引擎抓取(常用写法)

User-agent: *
Allow: /

2、禁止所有搜索引擎访问网站的所有部分

User-agent: *
Disallow: /

3、禁止百度索引你的网站

User-agent: Baiduspider
Disallow: /

4、禁止Google索引你的网站

User-agent: Googlebot
Disallow: /

5、禁止除Google外的一切搜索引擎索引你的网站

User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /

6、禁止除百度外的一切搜索引擎索引你的网站

User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /

7、禁止蜘蛛访问某个目录(例如禁止admin\css\images被索引)

User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/

8、允许访问某个目录中的某些特定网址

User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/

原创文章,作者:奶爸SEO,如若转载,请注明出处:https://www.naibaseo.com/330.html