网站robots.txt文件如何制作附写法教程

在SEO优化过程中，对于蜘蛛的了解和控制至关重要，关于以下Robots.txt部分写法希望能够帮助大家写出利于搜索引擎优化的robots.txt文件，写好存放在站点根目录下即可，一个简单纯文本文件，虽然它的设置很简单，但是作用却很强大