许昌春秋网络科技有限公司
 
 
 
 
域名注册 空间租用 网站建设 烽火台 搜索优化 网络推广 400电话
 
无标题文档
 
公司新闻  
咨询中心  
建站课堂  
常见问题  
营销宝典z  
          新闻中心 首页 > 新闻中心 > 常见问题
百度蜘蛛的抓取方式和异常原因
发布日期:2018-8-13 8:29:11   浏览次数:75

Baiduspider根据上述网站设置的协议对站点页面进行抓取,但是不可能做到对所有站点一视同仁,会综合考虑站点实际情况确定一个抓取配额,每天定量抓取站点内容,即我们常说的抓取频次。那么百度搜索引擎是根据什么指标来确定对一个网站的抓取频次的呢,主要指标有四个:
2,网站更新质量:更新频率提高了,仅仅是吸引了Baiduspier的注意,Baiduspider对质量是有严格要求的,如果网站每天更新出的大量内容都被Baiduspider判定为低质页面,依然没有意义。

4,站点评价:百度搜索引擎对每个站点都会有一个评价,且这个评价会根据站点情况不断变化,是百度搜索引擎对站点的一个基础打分(绝非外界所说的百度权重),是百度内部一个非常机密的数据。站点评级从不独立使用,会配合其它因子和阈值一起共同影响对网站的抓取和排序。

造成Baiduspider抓取异常的原因

下面向站长介绍一些常见的抓取异常原因:
服务器连接异常会有两种情况:一种是站点不稳定,Baiduspider尝试连接您网站的服务器时出现暂时无法连接的情况;一种是Baiduspider一直无法连接上您网站的服务器。造成服务器连接异常的原因通常是您的网站服务器过大,超负荷运转。也有可能是您的网站运行不正常,请检查网站的web服务器(如apache、iis)是否安装且正常运行,并使用浏览器检查主要页面能否正常访问。您的网站和主机还可能阻止了Baiduspider的访问,您需要检查网站和主机的防火墙。

3,DNS异常:当Baiduspider无法解析您网站的IP时,会出现DNS异常。可能是您的网站IP地址错误,或者域名服务商把Baiduspider封禁。请使用WHOIS或者host查询自己网站IP地址是否正确且可解析,如果不正确或无法解析,请与域名注册商联系,更新您的IP地址。

5,UA封禁:UA即为用户代理(User-Agent),服务器通过UA识别访问者的身份。当网站针对指定UA的访问,返回异常页面(如403,500)或跳转到其他页面的情况,即为UA封禁。当您的网站不希望Baiduspider访问时,才需要该设置,如果您希望Baiduspider访问您的网站,useragent相关的设置中是否有Baiduspider UA,并及时修改。

协议死链:页面的TCP协议状态/HTTP协议状态明确表示的死链,常见的如404、403、503状态等。
对于死链,我们建议站点使用协议死链,并通过百度站长平台–死链工具向百度提交,以便百度更快地发现死链,减少死链对用户以及搜索引擎造成的负面影响。

1)当前该页面为无效页面(内容已删除、死链等),直接跳转到前一目录或者首页,百度建议站长将该无效页面的入口超链接删除掉

注意:对于长时间跳转到其他域名的情况,如网站更换域名,百度建议使用301跳转协议进行设置。

1)针对百度refer的异常:网页针对来自百度的refer返回不同于正常内容的行为。

3)JS跳转异常:网页加载了百度无法识别的JS跳转代码,使得用户通过搜索结果进入页面后发生了跳转的情况。

 

虚位以待 虚位以待 虚位以待 许昌百姓网 许昌门户
许昌人才 许昌搬家 南阳网络公司 许昌论坛 郑州网络公司
许昌百姓网 郑州网络公司 长葛网站建设 东莞网络公司 许昌百度推广
许昌网页设计 许昌网站制作 许昌百度推广 许昌网站建设 许昌网络公司
许昌人才招聘 许昌论坛 许昌信息港 许昌招聘网 许昌人才网
许昌好房网 许昌招聘 许昌家居网 许昌百姓网 防盗螺母
版权所有 © 许昌春秋网络科技有限公司
客服电话:0374-8091995 8090300 地址:许昌市春秋广场东侧棉麻办公楼403室
客服电话:0374-8091110 8097105 地址:新兴路与仓库路交叉城市之心7号楼1单702室
传真:0374-2662321
  • 春秋销售部: 许昌春秋网络销售部
  • 春秋客服部: 许昌春秋网络客服部
  • 春秋商务部: 许昌春秋网络商务部
  • 春秋技术部: 许昌春秋网络技术部
  • 春秋宣传部: 许昌春秋网络宣传部