网站robots.txt怎么写 - 哈尔滨SEO_小贱博客
欢迎大家光临我的哈尔滨SEO博客,不怎么经营,文笔一般,承接相关网站建设/优化/推广服务。

网站robots.txt怎么写

SEO基础入门 266℃ 0评论

 

要想把网站排名做好,就得把SEO基础做好,对于网站robots.txt写法不得不重视。

robots.txt文件主要用途

  • 网站的部分内容哪些让搜索引擎搜录,哪些能让收录。
  • 屏蔽大量图片,这样蜘蛛就不会天天抓你的网站图片,节省宽带。

一个标准的网站robots.txt写法还是比较受搜索引擎喜欢。同时对于你的网站排名有着良好作用。

1222

解释一下;

  • User-agent: * 这个口令的意思是说允许所有搜索引擎来访抓取
  • Disallow:/bbs  这个意思是不允许抓取bbs下的所有内容
  • Allow: /bbs 允许访问抓取bbs下的目录

哪些不要被搜索引擎抓取?

  1. 网站后台目录,保护网站安全。
  2. 网站的动态参数
  3. 404页面
  4. 不想给搜索引擎看,给用户看得。
  5. 大量图片内容,不希望搜索引擎抓取图片
  6. 死链接,因为删除文章,删除的目录,造成不能访问的
  7. 重复的页面,没有质量的用户信息页面。

以上是网站robots.txt的写法。

推荐阅读:wordpress博客的详细写法

转载请注明:哈尔滨SEO-网站排名优化-哈尔滨小贱SEO博客 » 网站robots.txt怎么写

喜欢 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址