网络爬虫的基本原理及其实现过程
1、对爬取目标的定义和描述。在聚焦网络爬虫中，我们首先要依据爬取需求定义好该聚焦网络爬虫爬取的目标，以及进行相关的描述。
2、获取初始的URL。
3、根据初始的URL爬取页面，并获得新的URL。
4、从新的URL中过滤掉与爬取目标无关的链接。因为聚焦网络爬虫对网页的爬取是有目的性的，所以与目标无关的网页将会被过滤掉。同时，也需要将已爬取得URL地址存放到一个URL列表中，用于去重和判断爬取的进程。
5、将过滤后的链接放到URL队列中。
6、从URL队列中，根据搜索算法，确定URL的优先级，并确定下一步要爬取得URL地址。在通用网络爬虫中，下一步爬取哪些URL地址，是不太重要的，但是在聚焦网络爬虫中，由于其具有目的性，故而下一步爬取哪些URL地址相对来说是比较重要的。对于聚焦网络爬虫来说，不同的爬取顺序，可能导致爬虫的执行效率不同，所以，我们需要依据搜索策略来确定下一步需要爬取哪些URL地址。
7、从下一步要爬取得URL地址中，读取新的URL，然后依据新的URL地址爬取网页，并重复上述爬取过程。
8、满足系统中设置的停止条件时，或无法获取新的URL地址时，停止爬行。
好了，就给大家介绍这么多 仅供参考
