cookie设置域(cookie的域)

冒冒泡百科 2023-12-05 阅读:10 评论:0
  爬虫工作原理   网络爬虫不仅是搜索引擎的重要组成部分,而且是目前大数据分析不可  缺少的工具。了解爬虫的原理和实现对日常工作或者个人的兴趣爱好有  很大的帮助。比如你在百度贴吧里面看到了一遍不错的帖子,这个帖子  里面的回复很有价值,...

抽苹果手机          潮牌盲盒

cookie设置域(cookie的域)

  爬虫工作原理

  网络爬虫不仅是搜索引擎的重要组成部分,而且是目前大数据分析不可

  缺少的工具。了解爬虫的原理和实现对日常工作或者个人的兴趣爱好有

  很大的帮助。比如你在百度贴吧里面看到了一遍不错的帖子,这个帖子

  里面的回复很有价值,你想收藏下来,但是帖子有1000多页,你没办法

  逐个手动复制;或者你是日系二次元爱好者,喜欢搜集美女图片;或者

  你对目前的股票、房价的发展趋势想做一些预测;这些需求都可以借助

  爬虫这个有力的工具得意实现。

  

  网络爬虫的基本工作流程如下:

  首先选取一部分精心挑选的种子URL

  将种子URL加入任务队列

  从待抓取URL队列中取出待抓取的URL,解析DNS,并且得到主机

  的ip,并将URL对应的网页下载下来,存储进已下载网页库中。

  此外,将这些URL放进已抓取URL队列。

  分析已抓取URL队列中的URL,分析其中的其他URL,并且将URL

  放入待抓取URL队列,从而进入下一个循环。

  解析下载下来的网页,将需要的数据解析出来。

  数据持久话,保存至数据库中。

  爬虫的抓取策略

  在爬虫系统中,待抓取URL队列是很重要的一部分。待抓取URL队列中的URL以什么样的顺序排列也是一个很重要的问题,因为这涉及到先抓取那个页面,后抓取哪个页面。而决定这些URL排列顺序的方法,叫做抓取策略。下面重点介绍几种常见的抓取策略:

  

  深度优先策略(DFS) 深度优先策略是指爬虫从某个URL开始,一个链接一个链接的爬取下去,直到处理完了某个链接所在的所有线路,才切换到其它的线路。 此时抓取顺序为:A -> B -> C -> D -> E -> F -> G -> H -> I -> J

  广度优先策略(BFS) 宽度优先遍历策略的基本思路是,将新下载网页中发现的链接直接插入待抓取URL队列的末尾。也就是指网络爬虫会先抓取起始网页中链接的所有网页,然后再选择其中的一个链接网页,继续抓取在此网页中链接的所有网页。 此时抓取顺序为:A -> B -> E -> G -> H -> I -> C -> F -> J -> D

  了解了爬虫的工作流程和爬取策略后,就可以动手实现一个爬虫了!

  如何绕过常见的防爬

爬虫的目的就是大规模地、长时间地获取数据,跟我们正常浏览器获取数据相比,虽然机理相差不大,但总是一个IP去爬网站,大规模集中对服务器访问,时间一长就有可能被拒绝。关于爬虫长时间爬取数据,可能会要求验证码,即便是多个账号轮流爬取仍然会出现要求输入验证码的情况。

  技巧总结

  设定下载等待时间的范围控制,等待时间过长,不能满足短时间大规模抓取的要求,等待时间过短则很有可能被拒绝访问。

  技巧二:设置cookies

  cookie其实是储存在用户终端的一些被加密的数据,有些网站通过cookies来识别用户身份,如果某个访问总是高频率地发请求,很可能会被网站注意到,被嫌疑为爬虫,这时网站就可以通过cookie找到这个访问的用户而拒绝其访问。

  技巧三:修改User-Agent

  User-Agent是指包含浏览器信息、操作系统信息等的一个字符串,也称之为一种特殊的网络协议。服务器通过它判断当前访问对象是浏览器、邮件客户端还是网络爬虫。

  技巧四:修改IP

  从代理IP网站获取大量IP 或者使用IP地址库

  技巧五:分布式爬取

  目的:大规模抓取,单台机器的负荷很大,况且速度很慢,多台机器可以设置一个master管理多台slave去同时爬取

  HACK学习,每天推荐一本与黑客与互联网安全的书籍

  《黑客攻防技术宝典:浏览实战篇》

  

本书必须收藏,细致讲解了IE、Firefox、Chrome等主流浏览器及其扩展和应用上的安全问题和漏洞,介绍了大量的攻击和防御技术,具体内容包括:初始控制,持续控制,绕过同源策略,攻击用户、浏览器、扩展、插件、Web应用、网络,等等。它是你在实践中的必读参考指南,对实际开发具有重要指导作用,能够助你在浏览器安全领域有所作为。

  下载地址

  https://pan.baidu.com/s/1bpiz6zX

  分享密码

  k2r8

  补上昨天的书籍链接

  https://pan.baidu.com/s/1eS6T73s

  喜欢

  分享

  or

抽苹果手机          潮牌盲盒

版权声明

本文转自网络。仅代表作者观点,不代表本网站立场。
冒冒泡百科

分享:

扫一扫在手机阅读、分享本文