网站robots.txt文件如何制作附写法教程

在SEO优化过程中,对于蜘蛛的了解和控制至关重要,关于以下Robots.txt部分写法希望能够帮助大家写出利于搜索引擎优化的robots.txt文件,写好存放在站点根目录下即可,一个简单纯文本文件,虽然它的设置很简单,但是作用却很强大

网站robots.txt文件如何制作附写法教程

1、网站想要让所有的搜索引擎抓取(常用写法)

User-agent: *
Allow: /

2、禁止所有搜索引擎访问网站的所有部分

User-agent: *
Disallow: /

3、禁止百度索引你的网站

User-agent: Baiduspider
Disallow: /

4、禁止Google索引你的网站

User-agent: Googlebot
Disallow: /

5、禁止除Google外的一切搜索引擎索引你的网站

User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /

6、禁止除百度外的一切搜索引擎索引你的网站

User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /

7、禁止蜘蛛访问某个目录(例如禁止admin\css\images被索引)

User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/

8、允许访问某个目录中的某些特定网址

User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/

原创文章,作者:奶爸SEO,如若转载,请注明出处:https://www.naibaseo.com/330.html

(0)
上一篇 2021年4月27日 上午10:32
下一篇 2022年1月26日 下午5:23

相关推荐

  • 新手小白建网站如何选择实惠的服务器

    假如对网站空间服务有一点点了解的朋友都知道网站空间服务器,这里面能够简略的分为三大部分:虚拟空间、云主机、VPS。他们之间的差异在哪里呢?以及在选购时咱们又需留意什么呢?那么今日由…

    2020年12月12日
  • 新手如何制作一个网站平台

    现如今建站越来越简单,很多人都想拥有一个属于自己的网站,我们都知道制作网站需要有域名、空间和网站模板缺一不可,那么一个什么代码都不懂的新手怎么才能制作自己的网站呢,今天奶爸SEO就分享一些小白入手需知道的基础知识给到大家。

    2021年3月26日
  • 做好网站SEO友情链接会有什么好处

    好处一:提高我们的网站被抓取  通过友情链接,我们的网站地址和关键词都会在对方的网站上出现,那么搜索引擎蜘蛛在爬取该网站的时候,就会顺着这条链接进入到我们的网站上,很明显这就增加了…

    2020年12月15日
  • 如何交换高质量网站的友情链接_选择友情链接需要注意

    友情链接交换时要如何选择优质链接?友情链接交换是网站SEO优化的常用手法之一,就是两个网站之间互相链接对方,并把对方网站的品牌词或者核心关键词写网站首页底部。通过点击链接,可以跳转…

    2021年1月9日
  • 网站权重是什么意思,提升网站权重的方法

    网站的权重越高,代表着网站的质量越好,越受人重视。大家都喜爱自己的网站有必定的权重,那么权重是什么?下面就跟从奶爸SEO一同来了解下吧! 网站权重是指搜索引擎给网站(包括网页)赋予…

    2021年1月9日
  • SEO文章优化内容的技巧

    在网站SEO优化中,优化文章页面是很重要的组成部分,那么SEO文章优化要留意什么,SEO文章优化技巧有哪些,奶爸SEO在本文就跟咱们谈谈这个关于SEO文章优化的问题。 关于SEO文…

    2020年12月15日
  • 网站常用广告代码大全

    网站广告布局有分很多种,包括文字广告,图片广告,弹窗广告,漂浮广告等等,有许多站长因为没有什么代码基础,所以有时候想要展示广告方式也比较麻烦,今天奶爸就给你们分享一些广告代码大全,…

    2021年4月27日
  • 如何批量搭建站群同时做多个网站附步骤

    1、网站域名准备工作 搭建网站站群会用到大量的域名,所以首先需要注册大量的域名,当然老域名效果肯定比新域名更好,最好选一些.com或是.net后缀的域名,收录效果会更好。 2、准备…

    2021年3月26日
  • 强引蜘蛛是什么意思_如何强引蜘蛛

    这段时间这个问题不只两三个朋友问我了,经常听到朋友说最近可以引蜘蛛,但在这里很多朋友都不知道到这是什么意思,今天奶爸SEO就抽出一些时间给大家讲解一下吧,如果你还对着不了解可以仔细看完我这篇文章,这样就知道强引的意思了

    2021年3月26日
  • 网页中如何隐藏站长代码附方法

    许多做SEO的站长们都不希望别人看到统计代码,因为对于有强迫症的朋友这个特别影响美观,目前使用比较多的是CNZZ站长统计,51LA统计,百度统计等,通常情况统计代码都是放在网站最后面,然而网页中会显示相对应的站长统计、百度统计、统计图标等,很多时候你可能想把统计代码隐藏起来,下面来看下如何隐藏站长统计代码

    2021年3月26日

发表评论

邮箱地址不会被公开。 必填项已用*标注