网络爬虫-Python和数据分析.pdf
100墨值下载
网络爬虫, Python和数据
分析
王澎
中国科技大学
什么是网络爬虫？
• 网络爬虫是一个自动提取网页的程序，它为搜索
引擎从万维网上下载网页，是搜索引擎的重要组
成。传统爬虫从一个或若干初始网页的URL开始，
获得初始网页上的URL，在抓取网页的过程中，
不断从当前页面上抽取新的URL放入队列,直到满
足系统的一定停止条件
爬虫有什么用？
• 做为通用搜索引擎网页收集器。（google,baidu）
• 做垂直搜索引擎.(找工作的搜索引擎:
www.deepdo.com,数据来源于：www.51job.com ,
www.zhaoping.com , www.chinahr.com 等等)
• 科学研究：在线人类行为，在线社群演化，人类
动力学研究，计量社会学，复杂网络，数据挖掘，
等领域的实证研究都需要大量数据，网络爬虫是
收集相关数据的利器。
• 偷窥，hacking，发垃圾邮件……（《google
hack》….）
of 35
100墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论