7大操作避免降低蜘蛛浪费爬行 - 哈尔滨SEO_小贱博客
欢迎大家光临我的哈尔滨SEO博客,不怎么经营,文笔一般,承接相关网站建设/优化/推广服务。

7大操作避免降低蜘蛛浪费爬行

SEO技术策略 181℃ 0评论

1.重定向技术

作为一个经验法则,应该重定向301重定向是可能的(302),以流量汁通过链接到新的页面。

重定向是要耗费时间的,例如不带www的访问会先请求服务器,然后判断 在进行加载www,之间还是需要更多时间。

另外耗时间最多就是利用Js判断在进行重定向,之间有多了加载出不带www页面页头的时候,判断js,在进行重定向到www。

最坑比的就是重定向死循环  简单的例子就是一个进入专题页面,1秒内跳转到另一个专题,然后又跳回来,反复这样。

可以参考下史上301重定向设置方法,内容可能多了点,把最常见的都一一列举了出来。 比较全面的网站301设置

 

2.访问链接断开

访问链接断开

这张图可以直观理解。

确保不中断的链接出现在您的网站,这不仅有损于用户体验的网站,但它也很难爬到你的网站周围导航。如果爬虫不能访问的页面,他们可不会索引它。所以内链建设是重要的,正常的链接进行检查,以确保整个网站的任何链接被发现。

3.页面加载速度

页面速度是一个重要因素。这不仅是排名的重要因素,它还可以确定是否这些十分重要的页面上看到你的网站会通过搜索引擎进行搜索。

一个网站更快的加载,可以少花多的时间爬虫爬行你网站的不同页面上。而且可能一次性就会爬满你所有网页,而不是有的只爬个首页就跑了的蜘蛛

你可以参考网站结构的优化这篇文章  网站结构如何优化

随着增加页面爬行,提高页面速度还增加用户体验,对你的网站所有的(获胜)

4.robots.txt阻断设置

如果正确使用,一个robots.txt可以增加你网站的抓取速度;因为有些不必要的页面我们不需要蜘蛛进行抓取,比如用户模块信心,即使爬行被收录也起不到任何作用反而浪费流量

5.网站地图

制定一个网站地图并提交,这样这使得更容易对爬虫索引整个网站,理解你的网站。

6.URL参数

 

URL参数是一个主要原因,过长的url会被截断,同时运用在网站中,编码code会使网页变大,速度降低。

7.避免和一个大站在同一ip

如果你的同一ip下有大网站,那么所有的蜘蛛都会被大网站所吸引。

推荐阅读;

网站robots.txt怎么设置?

 

 

转载请注明:哈尔滨SEO-网站排名优化-哈尔滨小贱SEO博客 » 7大操作避免降低蜘蛛浪费爬行

喜欢 (1)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址