2）广度（宽度）优先和深度优先：表示爬取时的优先级。使用广度优先，按深度的层级来顺序爬取。
Ⅰ在进行网页爬虫前，我们先针钱包颜色与财运对一个飞机事故失事的文档进行数据提取的，主要是温习一下上一篇的java知识，也是为了下面爬虫实现作一个热身准备。
首先分析这个文档，，关于美国历来每次飞机失事的数据，包含时间地点、驾驶员、死亡人数、总人数、事件描述，一共有12列，第一列是标题，下面一共有5268条数据。
Java.util包下提供了Pattern和Matcher这两个类，可以根据我们给定的条件来进行数据的匹配和提取。
Matcher的配合，我们可以把一段内容中匹配我们要求的文字提取出来，方便我们来处理。例如：将一段内容中的电话号码提取出来。
此时对当当网首页分类里的图书进行深度为2的网页爬取，参照上述对机械表单网页的爬取，利用递归的方式进行数据获取存到E:/dangdang_book/目录下：
notify()。因此在多个线程中间我们需要一个对象来帮助我们进行线程之间的通信，以便其它线程。
对于网页数据爬取，用到了线程，类集处理，继承，正则表达式等各方面的知识，从一个网页以深度为主，广度为基本进行爬取，获取每一个网页的源代码，并写入到一个本地的目录下。
5、每次爬取一个网页时，所获得的所有链接在当前基础上深度+1，并且从未爬取队列中移除，加入到已爬取队列中；
6、为提升性能，在进行递归的时候，可以利用线程，复写Thread的run()方法，用多线程进行网页数据爬取；机器人聊天在线http://www.easyliao.com/！
网友评论 ()条 查看