网站robots.txt文件如何制作附写法教程

在SEO优化过程中,对于蜘蛛的了解和控制至关重要,关于以下Robots.txt部分写法希望能够帮助大家写出利于搜索引擎优化的robots.txt文件,写好存放在站点根目录下即可,一个简单纯文本文件,虽然它的设置很简单,但是作用却很强大

网站robots.txt文件如何制作附写法教程

1、网站想要让所有的搜索引擎抓取(常用写法)

User-agent: *
Allow: /

2、禁止所有搜索引擎访问网站的所有部分

User-agent: *
Disallow: /

3、禁止百度索引你的网站

User-agent: Baiduspider
Disallow: /

4、禁止Google索引你的网站

User-agent: Googlebot
Disallow: /

5、禁止除Google外的一切搜索引擎索引你的网站

User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /

6、禁止除百度外的一切搜索引擎索引你的网站

User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /

7、禁止蜘蛛访问某个目录(例如禁止admin\css\images被索引)

User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/

8、允许访问某个目录中的某些特定网址

User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/

原创文章,作者:奶爸SEO,如若转载,请注明出处:https://www.naibaseo.com/330.html

(0)
上一篇 2021年4月27日 上午10:32
下一篇 2022年1月26日 下午5:23

相关推荐

  • SEO新手做网站优化应该从哪些方面开始入手

    旧域名或者老网站是比较好优化的,这是SEO优化中站长的共识,应为这种类型的站点已经获得了搜索引擎的信任,但是,SEOer职业者们并不是总能遇到这样的网站,总会遇到要优化刚上线的新站…

    2020年12月15日
  • 强引蜘蛛是什么意思_如何强引蜘蛛

    这段时间这个问题不只两三个朋友问我了,经常听到朋友说最近可以引蜘蛛,但在这里很多朋友都不知道到这是什么意思,今天奶爸SEO就抽出一些时间给大家讲解一下吧,如果你还对着不了解可以仔细看完我这篇文章,这样就知道强引的意思了

    2021年3月26日
  • 网页如何集权附方法教程

    网页的排名跟权重分值是绝对相关的,一个优秀的SEO一定会想办法增加页面的权重分值,从而超越同行页面排名,那么如何进行网页权重分值提升那?我们可以通过页面集权,或者采取一些方法来提升我们页面的权重分值,今天我们就来讲解一下!

    2021年4月27日
  • 单页面网站如何做SEO优化

    通常我们做seo优化都是做企业网站或资讯类型比较多,基本上都是多个页面的,单页面的做的相对少,单页面seo优化唯一优点是响应速度快,单页面有其局限性,缺德多,包括但不限于丰富性不够,链接类型不够,更新机制不够等等因素。

    2021年3月26日
  • 百度搜索引擎更新的周期时间

    因为搜索引擎和我们玩的网络游戏类似,也是需要更新的,不是一成不变的,搜索引擎除了抓取之外,关于搜索引擎抓取相关的内容,还需要去更新,因为不更新的话就很难输出新的东西。所以对于seo人员来说,搜索引擎的更新时间是需要好好掌握一下的。

    2021年4月27日
  • seo新手如何入门_seo新手如何把网站做好

    搜索引擎优化(SEO)是网站业务中非常重要的一部分,网站通过SEO优化技术,我们的站点可以直接显示在搜索引擎结果的顶端,获得更多的网站流量。 那么,对初学者的站长应该怎么做好SEO…

    2020年9月30日
  • 搭建站群选择优质老域名有什么好处

    为什么站群基本都优先选择老域名?创建站群程序流程的情况下,究竟应用老域名好还是新域名好,提议是您选购一个老域名以后再选购一群新域名,一般新老域名的占比为1比10,互链后消息推送实际…

    2020年12月11日
  • SEO文章优化内容的技巧

    在网站SEO优化中,优化文章页面是很重要的组成部分,那么SEO文章优化要留意什么,SEO文章优化技巧有哪些,奶爸SEO在本文就跟咱们谈谈这个关于SEO文章优化的问题。 关于SEO文…

    2020年12月15日
  • 如何快速提高网站排名_网站提高排名的方法

    如何快速提高网站排名也就是网站在搜索引擎当中的排名,事实上,搜索排名优化并没有那么困难,提升网站关键词排名是网站追求的目标,提升网站排名可以提高网站的曝光率和知名度,吸引更多流量,精准引流,从而成交客户,为企业创造更多价值,那么到底该如何提高网站关键词排名呢?今天就教大家

    2021年3月26日
  • 网站权重是什么意思,提升网站权重的方法

    网站的权重越高,代表着网站的质量越好,越受人重视。大家都喜爱自己的网站有必定的权重,那么权重是什么?下面就跟从奶爸SEO一同来了解下吧! 网站权重是指搜索引擎给网站(包括网页)赋予…

    2021年1月9日

发表评论

邮箱地址不会被公开。 必填项已用*标注