御龙在天,山西招生考试网,蚂蚁上树的家常做法

作者:濡沫
来源:https://my.oschina.net/u/3917490/blog/1925795

引言

Java 网络爬虫具有很好的扩展性可伸缩性,其是目前搜索引擎开发的重要组成部分。例如,著名的网络爬虫工具 Nutch周方中 便是采用 Java 开发,该工具以 Apache Hadoop 数据结构为依托,提供了良好的批处理支持。

Java 网络爬虫涉及到 Java 的很多知识。本篇中将会介绍网络爬虫中需要了解的 Java 知识以及这些知识主要用于网络爬虫的哪一部分,具体包括以下内容:

  • Maven 的使用;
  • log4j 的使用;
  • 对象的创建;
  • 集合的使用;
  • 正则表达式的使用;
  • HTTP 状态码;
  • 其他。

Maven 的使用

Maven 是什么

Maven 是由 Apache 软件基金会所提供一款工具,用于项目管理及自动御龙在天,山西招生考试网,蚂蚁上树的家常做法构建。我们知道在构建一个 Java 工程时,需要使用到很多 Jar 包,例如操作数据库需要使用到 mysql-connector-java 以及其相关依赖的 Jar 包。而 Maven 工具便可以很方便的对我们在项目中使用到的开源 Jar 包,进行很好的管理,比如下载某 Java 工程需要的 Jar 包及相关依赖 Java 包。

Maven 如何使用

Maven 使用项目对象模型(Project Object Model,POM)来配置,项目对象模型存储在名为 pom.xml 的文件中。以 Java 为例,我们可以在 Eclipse 中创建一个 Maven 工程。熊锌淇其中,Maven Dependencies 便存放着由 Maven 管理的 Jar 包

正如前面所说,构建一个 Java 工程需要使用很多 Jar 包,比如,在 Java 网络爬虫中,我们需要用到数据库连接、请求网页内容、解析网页内容的相关 Jar 包时,我们可以在上图所示的 pom 文件中添加如下语句:

之后,我们会惊讶地发现,工程的 Maven Dependencies 中自动下载了相关 J黑姬柚叶ar 包以及其依赖的 Jar 包。

读者可以在 Maven Repository 网站中检索自己想要的 Jar 包,以及 Maven 操松鼠日记作语句。

log4j 的使用

log4j 是什么

log4j 是一个基于 Java 的日志记录工具,曾是 Apache 软件基金会的一个项目。目前,日志是应用软件中不可或缺的部分。

log4j 怎么使用

1. 使用 Maven 下载 log4j 的 Jar 包,代码如下:


log4j
log4j
1.2.17

2. 在 src 目录下创建 log4j.properties 文本文件,并做相关配置(关于每个配置的具体含义,读者可参考博文 《详细的 sw472Log4j 使用教程》):

3. 实例程序,如下所示:

基于此程序,我们就可以看到在我们工程的根目录下会产生一个日志文件 error.log 和 log.log。

在网络爬虫中,我们可以使用日志记录程序可能出错的地方,监控程序的运行状态。

对象的创建

在 Java 中,经常使用 new 关键字来创建一个对象。例如,在爬取京东商品的id、product_name(商品名称)、price(价格)时,我们需要将每个商品的信息封装到对象里。

JdInf微库网oModel jingdongproduct = new JdInfoModel();

在爬虫中,我们要操作 JdInfoModel 类中的变量(即id、product_name、price),可以使用 private 变量定义的方式。并且,使用 set() 与 get() 方法大唐科学家对数据进行设置(爬取数据的封装)和获取使用(爬取数据的存储)。下面的代码为 JdInfoModel 类:

集合的使用

网络爬虫离不开对集合的操作,这里涉及到 List、Set、Queue、Map 等集合的操作。

List 和 Set 集合的使用

List 的特征是其元素以线性方式存储,集合中可以存放重复对象。对比而言,Set 集合中的对象不按特定的方式排序,并且没有重复对象。在网络爬虫中,可以使用 List 存储待爬的 URL 列表。例如:

同时我们也可以使用上面 List 来封装具体的实例,性道具即爬虫所采集到的数据。Set 集合的使用与 List 集合类似,这里就不过多讲解了。

Map 的使用

Map 是一种把键对象和值对象进行映射的集合,它的每一个元素都包含一对键对象和值对象,其中键对象不可以重复。Map 不仅在网络爬虫中常用,也常在文本挖掘算法的编写中使用。在网络爬虫中,可以使用 Map 过滤一些重复数据,但并建议同庆帝使用 Map 对大规模数据去重过滤,原因是 Map 有空间大小的限制。比如,使用网络爬虫爬取帖子时,可能遇到置顶帖,而置顶帖可能会与下面的帖子重复出现。以下程序为 Map 的使用案例:

Queue 的使舒淇崩溃晒自拍照用

队列(Queue)使用链表结构存储数据,是一种特殊的线性表,它只允许在表的前端进行删除操作,而在表的后端进行插入操作。LinkedList 类实现了 Queue 接口,因此我们可以把 Linked郝宇博士List 当成 Queue 来用。Queue 常用来存待爬 URL 队列。

正则表达式的使用

正则表达式,是在解析数据(HTML 或 JSON 等)时,常用的方法。举个列子,我想从下面的语句中提取用户的 id(75广州富婆975500):

尊少来自沈阳

后面,我会介绍解析工具 jsoup,其可以解析获得“//http://黛欣燃i.autohome.com.cn/75975500”。接着,便可以使用正则表达式提取 75975500。

String url = "//i.autohome.com.cn/75975500";
String user_id = url.replaceAl爱情保卫战20130124l("\\D", ""); //取代所有的非数字字符
System.out.println(user_id); //输出的结果即为75975500

如下表所示,是 Java 中一些常用的基本正则表达式。

正则表达式写法含义\d代表0-9的任意数字\D代表任何非数字字符\s代表空格类字符\S代表非空格类字符\p{Lower}代表小写字母[a-z]\p{Upper}代表大写字母[A-Z]\p{Alpha}代表字母\p{Blank}代表空格或制表符

HTTP 状态码

当浏览者访问一个网页时,浏览者的浏览器会向网页所在服务器发出请求。当浏览器接收并显示网页前,此网页所在的服务器会返回一个包含 HTTP 状态码的信息头(Server Header)用以响应浏览器的请求。在网络爬虫向后台请求一个 URL 地址时,便会返回状态码,该状态码中包少女映画在线含丰富的信息。例如,2性保健品00表示请求成功,成功获取到了后台传的数据(HT建树造句ML 或 JSON 等);301资源(网页等)被永久转移到其它 URL;404请求的资源(网页等)不存在等。以下是 HTTP 状态码的分类。

分类描述1**信息,服务器收到请求,需要请求者继续执行操作。2**成功,操作被成功接收并处理。3**重定向,需要进一步的操作以完成请求。4**客户端错误,请求包含语法错误或无法完成请求。5**服务器错误,服务器在处理请求的过程中发生了错误。

详细的 HTTP 状态码列表,读者可erolord以参考这个地址。

其他

另外,网络爬虫还涉及到其他方面的 Java 知识,比如说Java 输入输出流、Java 操作数据库、Java 多线程操作、Java 对日期的处理、Java 中的接口与继承。所以,以网络爬虫,入门 Java 编程是非常好的方式。


扩展阅读

Java爬虫入门实战:爬取京东图书信息

Python实战丨网络爬虫都能干什么?

33款可用来抓数据的开源爬虫软苏双双件工具

一款小巧、灵活的Java多线程爬虫框架(AiPa)

Java开发项目之手把手教你爬取并下载酷狗TOP500歌曲