在SEO优化过程中，对于蜘蛛的了解和控制至关重要，关于以下Robots.txt部分写法希望能够帮助大家写出利于搜索引擎优化的robots.txt文件，写好存放在站点根目录下即可，一个简单纯文本文件，虽然它的设置很简单，但是作用却很强大
1、网站想要让所有的搜索引擎抓取（常用写法）
User-agent: *
Allow: /2、禁止所有搜索引擎访问网站的所有部分
User-agent: *
Disallow: /3、禁止百度索引你的网站
User-agent: Baiduspider
Disallow: /4、禁止Google索引你的网站
User-agent: Googlebot
Disallow: /5、禁止除Google外的一切搜索引擎索引你的网站
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /6、禁止除百度外的一切搜索引擎索引你的网站
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /7、禁止蜘蛛访问某个目录（例如禁止admin\css\images被索引）
User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/8、允许访问某个目录中的某些特定网址
User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/原创文章，作者：奶爸SEO，如若转载，请注明出处：https://www.naibaseo.com/330.html
相关推荐
-
网站SEO站群的优点和缺点
站群模式的优点 1、占领行业长尾关键词速度快，用网站的首页优化行业长尾关键词更简单2、网站数量多如果品牌站被降权，会影响整个项目业绩，群站不会同时间内被集体降权现象3、团队管理比较…
-
seo新手如何入门_seo新手如何把网站做好
搜索引擎优化（SEO）是网站业务中非常重要的一部分，网站通过SEO优化技术，我们的站点可以直接显示在搜索引擎结果的顶端，获得更多的网站流量。 那么，对初学者的站长应该怎么做好SEO…
-
网页中如何隐藏站长代码附方法
许多做SEO的站长们都不希望别人看到统计代码，因为对于有强迫症的朋友这个特别影响美观，目前使用比较多的是CNZZ站长统计，51LA统计，百度统计等，通常情况统计代码都是放在网站最后面，然而网页中会显示相对应的站长统计、百度统计、统计图标等，很多时候你可能想把统计代码隐藏起来，下面来看下如何隐藏站长统计代码
-
什么是TDK_网站tdk是什么意思
TDK的是什么意思，今天奶爸SEO给你们讲解下吧，其实TDK就是包括网站标题（title）、描述（description）、关键词（keywords），也就是这三者的英文首字母缩写…
-
做好网站SEO友情链接会有什么好处
好处一：提高我们的网站被抓取 通过友情链接，我们的网站地址和关键词都会在对方的网站上出现，那么搜索引擎蜘蛛在爬取该网站的时候，就会顺着这条链接进入到我们的网站上，很明显这就增加了…
-
如何快速提高网站排名_网站提高排名的方法
如何快速提高网站排名也就是网站在搜索引擎当中的排名，事实上，搜索排名优化并没有那么困难，提升网站关键词排名是网站追求的目标，提升网站排名可以提高网站的曝光率和知名度，吸引更多流量，精准引流，从而成交客户，为企业创造更多价值，那么到底该如何提高网站关键词排名呢？今天就教大家
-
百度搜索引擎喜欢什么样的文章
初期想要网站优化做得好，就要不断的更新文章，文章被搜索引擎收录，才会对网站有好处。什么样的文章会被搜索引擎收录？首先要了解搜索引擎的喜好，搜索引擎喜欢质量高的新闻，什么样的新闻质量高呢？原创的，或者伪原创的。有原创文章最好，不过就算是我们自己写的文章，也是要放到伪原创工具里面去检查一下，以免重复度过高
-
如何给网站添加SSL证书
今天我们说说在宝塔面板中如何免费获取并开启SSL证书,使网站HTTPS化,减少一些DNS劫持等,宝塔面板可以说在国内服务器配置方面是比较出名的,一些大的网站的服务器都是使用的宝塔面板,宝塔面板的操作与配置服务器环境对一些初入做站的将要跳坑的小白来说,就一件超越仙器的神器
-
禁止百度保留快照的方法教程
最近很多站长朋友说有没有不然百度保留快照的方法,今天奶爸SEO想了下就分享出来吧,对隐私的考虑不希望百度保留快照,特别对于很多没有移动站点的网站来说,大部分在手机上展示的都是百度转码过的网站,外观是非常不好看的,甚至有些样式直接就错乱了,还不如展示pc端网页好呢,网上也在讨论如何禁止百度保留快照的方法,其实百度早已对此有过说明,但藏在一篇不起眼的文章中不引人注目,导致依然非常多的人不清楚该如何操作。
-
搭建站群选择优质老域名有什么好处
为什么站群基本都优先选择老域名？创建站群程序流程的情况下，究竟应用老域名好还是新域名好，提议是您选购一个老域名以后再选购一群新域名，一般新老域名的占比为1比10，互链后消息推送实际…