网站设计公司易捷网络:专注企业网站设计

Baiduspider抓取异常的原因

来源:易捷网站设计公司     时间:2018-10-29
有一些网页,内容优质,用户也可以正常访问,但是Baiduspider却无法正常访问并抓取,造成搜索结果覆盖率缺失,对百度搜索引擎、对站点都是一种损失,百度把这种情况叫“抓取异常”。对于大量内容无法正常抓取的网站,百度搜索引擎会认为网站存在用户体验上的缺陷,并降低对网站的评价,在抓取、索引,排序上都会受到一定程度的负面影响,最终影响到网站从百度获取的流量。
下面介绍一些常见的抓取异常的原因。
(1)服务器连接异常。服务器连接异常会有两种情况。一种是站点不稳定,Baiduspider尝试连接网站的服务器时出现暂时无法连接的情况;另一种是Baiduspider一直无法连接上网站的服务器。造成服务器连接异常的原因通常是网站服务器过大,超负荷运转。也有可能是网站运行不正常,请检查网站的Web服务器(如apache、is)是否安装且正常运行,并使用浏览器检查主要页面能否正常访问。网站和主机还可能阻止了Baiduspider的访问,需要检查网站和主机的防火墙。
(2)网络运营商异常。网络运营商分电信和联通两种,Baiduspider通过电信或网通无法访问网站。如果出现这种情况,需要与网络服务运营商进行联系,或者购买拥有双线服务的空间或者购买cdn服务。
(3)DNS异常。当Baiduspider无法解析网站的P时,会出现DNS异常。可能是网站IP地址错误,或者域名服务商把Baiduspider封禁。请使用WHOIS或者host查询自己网站的IP地址是否正确且可解析,如果不正确或无法解析,请与域名注册商联系,更新IP地址。
(4)IP封禁。限制网络的出口IP地址,禁止该P段的使用者进行内容访问、,这里特指封禁了Baiduspiderip。当网站不希望Baiduspider访问时,才需要该设置,如果希望Baiduspider访问网站,请检查相关设置中是否误添了Baiduspiderip.。也有可能是网站所在的空间服务商把百度P进行i了封禁,这日时需要联系服务商更改设置。
(5)UA封禁。服务器通过UA识别访问者的身份。当网站针对指定UA的访不希望Baiduspider访间时,才需要该设置,如果您希望Baiduspider访问您的网站问,返回异常页面(如403,500)或跳转到其他页面的情况,即为UA封禁。当网站useragent相关的设置中是否有Baiduspiderua,并及时修改。
(6)死链。页面已经无效,无法对用户提供任何有价值信息的页面就是死链接,包括协议死链和内容死链两种形式协议死链。页面的tcp状态,http状态明确表示的死链,常见的如404、403、503状态等。内容死链。服务器返回状态是正常的,但内容已经变更为不存在,已删或需要权限等与原内容无关的信息页面。对于死链,建议站点使用协议死链,并通过百度站长平台—死结工具向百度提交,以便百度更快地发现死链,减少死链对用户以及搜索引擎造成的负面影响。
(7)异常跳转。将网络请求重新指向其他位置即为跳转。异常跳转指的是以下几种情况:
①当前该页面为无效页面(如内容已删除。死链等),直接跳转到前一目录或者首页,百度建议站长将该无效页面的人口超链接删除。
②跳转到出错或者无效页面注意:对于长时间跳转到其他城名的情况,如网站更绕域名,百度建议使用301跳转协议进行设置。
(8)其他异常。
①针对百度reer的异常:网页针对来自百度的mfe返回不同于正常内容的行为。
②针对百度ua的异常:网页对百度UA返回不同于页面原内容的行为。
③Js跳转异常:网站设计加载了百度无法识别的N跳转代码,使得用户通过搜索结果进入页面后发生了跳转的情况。
④压力过大引起的偶然封禁:百度会根据站点的规模、访问量等信息,自动设定一个合理的抓取压力。但是在异常情况下,如压力控制失常时,服务器会根据自身负荷进行保护性的偶然封禁。这种情况下,请在返回码中返回503(其含义是ServiceUnavailable),这样Baiduspider会过段时间再来尝试抓取这个链接,如果网站已空闲,则会被成功抓取。
深圳网站设计公司易捷网络科技是一家专业从事深圳网站建设和深圳网页设计的深圳网络公司,主要经营的业务有:深圳网站建设、网页设计、网站推广优化、企业邮箱申请、网站域名空间备案。欢迎来电咨询(微信同号):13714247375
返回上一级
您可能需要:
网站设计图标
企业网站设计
高速稳定的国内空间,免费备案的香港、国外空间,单线、双线以多线空间
点击咨询
关键字推广优化图标
网站推广优化
指定网站关键词,确保一月之内优化到搜索引擎得首页,到首页之后再收费
点击咨询
企业邮箱图标
企业邮箱申请购买
以企业官网后缀为名称的邮箱,彰显公司企业形象,先试用,满意后再付款
点击咨询
国徽图标
网站域名空间备案
域名空间提交国家工信部备案审核,十五天即可完成,网站备案实名势在必行
点击咨询
网站设计相关资讯推荐
服务器放国外,百度会区别对待吗
网站的维护与更新
怎么设置外部链接的广泛度
博客在微信营销活动中的作用
制作医药行业网站可以为企业带来什么
SEO的正确理解seo与sem有何关联
打造多方共赢的生态圈
网页设计中颜色的重要性
企业网站推广可以从哪些方面着手
价值的来源
网站建设的7个基本原则
微信与微博的区别
关于深圳企业网站建设知多少
图像识别技术在互联网内容审核领域的应用分析
深圳酒店VI设计是酒店的灵魂所在
QQ在线咨询
 
金亚洲代理