欢迎您加入百顺好分类目录: 提交网站流程->注册会员->提交网站->等待审核...
当前位置:百顺好分类目录 » 站长资讯 » 站长资讯 » 电商资讯 » 文章详细 订阅RssFeed

死链对网站的影响、产生过程、解决办法汇总

来源:本站原创 浏览:1324次 时间:2015-08-29

 大量死链对搜索引擎来讲,有什么影响?
  1、几乎很多站都避免不了存在死链接,但死链率过高,会影响搜索引擎对网站的评分。
  2、搜索引擎对每个网站每天抓取的频次是限额的,若网站存在大量死链,会浪费掉抓取配额并影响正常页面的抓取。
  3、过多死链对网站用户来讲也是体验不好的表现。
  百度站长工具中有一个抓取异常,那么这个工具里面的异常数据是如何产生的呢?
  1、网站内部添加了错误的内部链接
  编辑失误或者程序员大意让页面产生了不存在页面的URL。
  2、原来正常页面因为程序或页面调整或改版无法打开
  因为程序的一个改动,导致了某些正常页面无法打开。
  3、网站短暂无法访问
  因为服务器、空间或程序问题导致网站无法访问,抓取异常中会出现大量的500错误页面。
  4、外部链接错误
  用户或者站长在站外发布了错误URL,蜘蛛爬取后产生错误页面;别的网站复制或采集了你们含有错误链接的页面;有些垃圾网站自动生成的静态搜索结果页,如 www。8875。org/desc/3715714444.html 这个页面中出现的很多链接在html前面有“...”。
  5、爬虫提取了不完整的URL
  个别爬虫在提取页面URL的时候,只提取部分URL或者把正常的URL后面的文字或字符也提取进去了。
  6、网站改版或管理员删除页面
  网站改版过程中处理不当导致部分老页面无法访问,或者网站管理员删除被黑、广告、过时、被灌水页面。
  出现了上述情况,我们该如何去解决
  1、修复错误页面 抓取异常中的很多错误页面是因为程序员大意或者我们程序问题导致的,本应该是正常页面,因为失误导致无法访问,对于此类页面,第一时间进行修复。
  2、提交死链接 但必定很多错误页面是本不应该存在的,那么我们要想办法获取此类页面URL,获取方式主要有三种:
  (1) 百度站长工具--抓取异常--找不到的页面--复制数据 [修正:此处死链不需我们提交了,百度站长工具自动提交死链];
  (2) 管理员在删除页面的时候手动或者程序自动保存被删页面URL;
  (3) 使用相关爬虫软件,爬取整站获取死链,如Xenu 。
  然后将上述数据合并并删除重复项(excel表格中能实现删重,wps表格更容易操作),然后再复制所有URL通过HTTP状态批量查询工具查询下[这个不错pl.soshoulu.com/webspeed.aspx],剔除掉非404返回码页面。
  然后整理上面处理好的数据粘贴到网站根目录中的一个文档中,再把文档地址提交到 百度站长工具--网页抓取--死链提交--添加新数据--填写死链文件地址。
  3、在robots中屏蔽抓取
  若大量的错误URL存在一定的规律,可以在robots文件中写一个规则禁止蜘蛛程序抓取此类链接,但前提一定要照顾好正常页面,避免屏蔽规则误伤正常页面,比如你的网站全部是静态URL,那么如果错误链接中含有?的话,规则写成Disallow:/*?*,如果错误链接中有/id...html 的话,规则写成Disallow:/*...* 。
  robots文件添加完规则后,一定要去百度站长的 robots工具 进行校验,将指定的错误页面放进去,看看是否封禁成功,再把正常的页面放进去看看是否被误封。
  相关注意事项:
  1、在百度站长工具中提交死链前,一定要确保提交的死链数据不存在活链接,或者存在HTTP状态码非404页面。一旦存在活链,会显示提交失败导致无法删除。
  2、由于很多网站程序问题,很多打不开的页面返回码并非404,这是一个大问题,比如明明是打不开的页面返回码是301、200、500,如果是200的话,会导致网站中出现不同URL获取相同内容。比如我的一个站,社区的帖子删除后,返回码却是500,后期发现了,立马进行了处理。大家尽量找出所有错误URL格式,.并设置打开后HTTP状态码为404。
  3、把所有的错误页面找到后,一定要寻找此类页面URL相同特征,并且和正常页面的特征有区分,写对应规则到robots文件中,禁止蜘蛛抓取,就算你已经在站长工具中提交了死链,也建议robots封禁抓取。
  4、robots只能解决蜘蛛不再抓取此类页面,但解决不了已经抓取页面的快照的删除问题,若你的网站被黑,删除了被黑页面,除了robots封禁被黑页面外,还应该将这些页面提交死链。提交死链是删除被黑页面快照的最快办法。[站长社区-版主ccutu]
  来源:SEO自学网 转载注明出处!
本文章“百顺好分类目录http://www.baishunhao.com”编辑收录
免费领取阿里云优惠券

推荐站点

  • 深圳吧深圳吧

    深圳论坛,深圳新闻网是深圳本地最综合的生活分类信息门户。免费发布深圳生活信息,深圳新闻,深圳二手车,深圳二手房,深圳租房,深圳交友及深圳人才等信息。深圳新闻网致力于做深圳最专业的门户网!

    www.szaima.com
  • 华夏新闻网华夏新闻网

    华夏网(www.v25v.net)致力于打造最快最新具活力的门户网站,为广大网民提供全面及时的资讯、房产、汽车、旅游、军事、娱乐、体育、科技、企业、财经、历史、考古、教育、健康等实时资讯。华夏网-华夏新闻网-华夏门户网-传播华夏第一门户网站!

    www.v25v.net
  • 中国目录网中国目录网

    中国目录网(dir5.cn)-免费收录各类优秀网站的中文网站目录.由人工编辑,并提供网站分类目录检索及地区分类目录检索,是站长免费推广网站的有力平台!中国目录网目前共有393个主题分类,总计4901个优选网站.

    www.dir5.cn
  • 久久网站目录久久网站目录

    久久网站目录采用全人工编辑的开放式网站分类目录,久久网站大全免费收录国内外、各行业优秀网站网址,旨在为用户提供网站分类目录检索、优秀网站参考、网站推广服务。

    www.99dir.com
  • 中国农业网中国农业网

    爱农网_中国农业网_中国农业综合信息化平台,提供免费农产品交易信息,农产品供求信息,农产品交易,价格,包括粮油,畜牧,特种养殖,水产品,水果蔬菜,园林花卉,农业技术,种子,农资机械,农业技术为一体的最适合广大农民朋友的网站!

    www.inong.net
  • hao123_上网从这里开始hao123_上网从这里开始

    hao123是最具权威的中文上网导航,汇集最优秀的网站及资源。及时收录影视、音乐、小说、游戏等分类的网址和内容,让您的网络生活更简单精彩。上网,从hao123开始。

    www.hao123.com