网站不收录?网络爬虫的分类与策略

cesc

你还不知道为什么网站不收录?来看看这篇关于网络爬虫的文章,再去想一想如何让利用这些知识来优化你的网站吧!

今天,错误博客( cuowu.com )带来的是《网站不收录?网络爬虫的分类与策略》。希望对大家有所帮助。

网络爬虫

网络爬虫是SEO人员应该学习的基础知识之一,认识和理解网络爬虫有助于更好地优化网站。

一、网络爬虫是什么

网络爬虫,是指按照一定的规则、自动抓取互联网上信息的程序组件或脚本程序。在搜索引擎中,网络爬虫就是搜索引擎发现和抓取文档的自动化程序。

网络爬虫,简称爬虫,又被称之为网页蜘蛛、网络机器人和网页追逐者,百度搜索称之为百度蜘蛛(spider),谷歌称之为Google robot。

网络爬虫

二、网络爬虫产生的背景

互联网信息大爆炸,人们不满足于仅仅依靠开放目录等传统方式在网络上寻找一些东西,为了满足不同的人的不同需求,于是出现了网络爬虫。

开放目录就好比现在的网址导航、分类目录和黄页网站。

三、网络爬虫面临的问题

互联网页面数量过于庞大,研究表明接近30%以上的页面都是重复的,页面不规范使得多个链接指向同一个页面。网络爬虫无法完成对互联网巨大的web信息进行完全的抓取,即便抓取也没办法完全存储。

搜索引擎架构的两个目标是效果和效率,这同样也是对网络爬虫提出的要求。面对亿级网页数量,重复内容很高,在SEO行业重复率可能在50%以上,网络爬虫面临的问题是为了提高效率和效果,就需要在一定的时间内获得更多有高质量页面,摒弃那些原创度低、复制内容、拼接内容等页面。

PS:当然,在大网站发布出来的文章,尤其大站效应,尽管不是首发,但依然排名很好,甚至比首发站排名还好。

故网络爬虫的面临的问题在于如何提升爬行效率和在单位时间内尽可能多地获取高质量页面。

四、网络爬虫的分类和策略

常见网络爬虫有四类:通用网络爬虫、聚焦网络爬虫、增量式网络爬虫和Deep Web爬虫。

1、通用网络爬虫

通用网络爬虫,又称为“全网爬虫”,从一些种子网站开始爬行,逐步扩展到整个互联网。

通用网络爬虫策略:深度优先策略和广度优先策略。

2、聚焦网络爬虫

聚焦网络爬虫,又称为“主题网络爬虫”,预先选择一个(或几个)相关主题,仅爬行并抓取这一类的相关页面。

聚焦网络爬虫策略:聚焦网络爬虫增加了链接和内容评价模块,所以其爬行策略的关键是评价页面的链接和内容后再进行爬行。

3、增量式网络爬虫

增量式网络爬虫,是指对已经收录的页面进行更新、爬行新页面和发生变化的页面。

增量式网络爬虫策略:广度优先策略和PageRank优先策略等。

4、Deep Web爬虫

搜索引擎蜘蛛可以爬行并抓取的页面称之为“表层网页”,某些不能通过静态链接获得的页面称之为“深层网页”,Deep Web爬虫就是抓取深层网页的爬虫体系。

网络爬虫抓取策略一般有三种形式:

广度优先:搜索完当前页面所有链接,才开始进入下一层。

最佳优先:根据一定的网页分析算法,比如链接算法和页面加权算法等,优先抓取更具有价值的页面。

深度优先:顺着一个链接一直爬行,直到某一页面再也没有链接,再开始爬行另外一条。但是一般都是从种子网站开始抓取,如果采用这种形式可能会造成抓取的页面质量越来越低,所以这种策略使用较少。

以上就是错误博客( cuowu.com )带来的是《网站不收录?网络爬虫的分类与策略》。感谢您的观看。

随机文章

小小课堂:电子邮件营销是什么?优势与特点有哪些?如何获取邮箱
404页面
外链建设方法-三门峡SEO
“网红”吃鸡枪械:赵丽颖的98K,吴京的AK,燕双鹰的AWM!
033 肮脏-阎川魔鬼游戏
DNF95苍穹落泪?不,这次叫苍穹铁头武器,玩家被自己感动!
DNF狂人为全身增幅16放出大招-5件腰带一起增幅?物攻将破20w
LOL:IG首败是因为没教练?The shy母亲一手骚操作,把粉丝惊住了

百度搜索“错误博客”即可找到本站,微信搜索“cuowucom”关注错误博客公众号。错误博客( cuowu.com )欢迎用户投稿,发布者:中二少年,文章版权归作者所有,投稿文章不代表错误博客立场,中二少年发布为错误博客原创文章,转载请注明出处:https://cuowu.com/257.html

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注

评论列表(2条)