robots.txt书写要遵循顺序的原则 - 哈尔滨SEO_小贱博客
欢迎大家光临我的哈尔滨SEO博客,不怎么经营,文笔一般,承接相关网站建设/优化/推广服务。

robots.txt书写要遵循顺序的原则

SEO技术策略 267℃ 0评论

 robots.txt书写不仅要规范,还要要求顺序

robots.txt在书写要规范,不仅需要格式正确,还需要顺序是正确的。

就拿自己的亲身经历来说,前段时间做了一个新站,为了让搜索引擎有个好的影响,决定是用robots.txt先进行屏蔽操作。

后面陆续添加内容和相关栏目,我这样写了个robots

Disallow: 
Disallow: /

等我内容网站架设完成,然后被搜索引擎收录了,分别被百度和谷歌收录了,还是我在查询的几天前就收录了。应该就是在上传程序那一刻就收录了;
查看百度快照也是完整的状态。顿时脑海里闪现出我是不是没设置robots.txt,发现我的robots.txt存在,也是写了的,
但是就是出现了点问题‘
问题在
Disallow: 
Disallow: /上,顿时明白了。
首先
Disallow: 
没写任何路径,那么是表示这条规则无效么?
按照这个意思就是不允许访问我网站目录的目录为空=表示蜘蛛可以访问我的任何目录?
但是这条
Disallow: /

没起到任何的作用,表示已经放蜘蛛进来了

Disallow: /

是没用的。

毕竟Disallow: 这个代码已经将他放进来了。
所以在设置robots.txt要遵循顺序的原则,不遵循的话,和你结果中的相差甚远。

以上由哈尔滨seo小贱原创

转载请注明:哈尔滨SEO-网站排名优化-哈尔滨小贱SEO博客 » robots.txt书写要遵循顺序的原则

喜欢 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址