专业

深圳网站优化客服热线:SEO
首页 > 搜索引擎技术首页 >> 搜索引擎技术

5年的老网站不收录,看看都有哪些原因?后悔看晚了详情

深圳网站优化

5年的老网站不收录,看看都有哪些原因?后悔看晚了
http://www.dongweijia.com 发布时间:2019-04-11 

5年的老网站不收录,看看都有哪些原因?后悔看晚了
5年的老网站不收录,看看都有哪些原因?后悔看晚了

搜索引擎在抓取网页的时候,可能会遇到各种情况,有的页面抓取成功,有的抓取失败。

 搜索引擎在抓取网页

理解什么是返回码?

怎么显示一个页面的实际抓取结果呢?主要是通过返回码进行示意,代表抓取成功与否和遇到的问题。比如我们常见的,有时候打开一个页面,页面一片空白,上面只显示404,这里的404就是一种返回码,代表当前抓取的页面已经失效,遇到显示404的页面,如果短期内搜索,蜘蛛再发现这个URL,也不会对其进行抓取。
有时候,会返回503, 503返回码代表网站临时无法访问,可能是网站服务器关闭或者其他临时措施造成的网页无法访问,一般来说,蜘蛛还会继续抓取几次。如果网站恢复正常, URL仍然被当作正常URI处理,如果服务器一直处于不可访问状态,那么搜索引擎就会将这些URL,彻底从库中删除,这就要求我们必须维护网站的稳定性,尽量避免临时关闭的情况发生。返回码403是禁止访问状态,一般来说,如同503一样,如被多次访问仍处于禁止访问状态,就会被搜索引擎从库里面删除。
在返回码中,有一类需要格外注意,就是301,301代表永久性移除,当前URL被永久性重定向到另外的URL。一般来说,因为改版等原因,部分URL需要永久被替换为新的URL,就必须使用返回码301进行处理,这样能把权重等一并带过去,避免网站的流量损失。

使用rewrite重写规则

需要提醒的是目前htaccess适用于Linux系统,并需要虚拟主机支持,因此,在考虑htaccess 件处理返回码301的时候,需要查看虚拟主机否完全支持。
实际上,在重定向的处理上存在多种方式,简单来说,重定向可以分为http301重定向、 meta refresh重定向和iis重定向。

使用canonical标签重定向

另外,大的搜索引擎公司,比如谷歌和百度都确认支持Canonical标签,可以通过制定一个权威页面的方式,引导蜘蛛只索引一个权威页面,从实际效果上来说,也是一种间接的重定向。
在实际抓取过程中,蜘蛛会对各种重定向效果进行识别。
重定向的方法有多种,但是从seo角度来说,如果是永久跳转的页面,尽量采用返回码301的跳转方式。另外,从时间结果来看,百度对Canonical的支持并不如谷歌好,采用Canonical未必能得到如期效果。
有些网站通过不同的路径进入同一页面,可能会出现多个URL的情况,当面对这种情况时,可能需要一些处理技巧,关于Canonical的使用技术可参见本书关于Canonical的专门讲解。

如何解决信息无法被抓取到的问题?

几个可行的办法如下。

采用搜索引擎平台提供的开发平台等数据上传通道,可以针对数据进行独立的提交。
采用Sitemap提交方式。大型网站或者结构比较特殊的网站,沉淀了大量的历史页面,这些历史页面很多具有seo的价值,但是蜘蛛无法通过正常的爬行抓取到,针对这些页面,建立Sitemap文件并提交给百度等搜索引擎是非常必要的。
蜘蛛在爬行网站的时候,会遵循网站的协议进行抓取,比如哪些网页可以给搜索引擎抓取,哪些不允许搜索引擎抓取。

5年的老网站不收录,看看都有哪些原因?后悔看晚了