一、爬虫系统的诞生
通用搜索引擎的处理对象是互联网网页，目前互联网网页的数量已达百亿，所以搜索引擎首先面临的问题是：如何能够设计出高效的下载系统，以将如此海量的网页数据传送到本地，在本地形成互联网网页的镜像备份。
网络爬虫能够起到这样的作用，完成此项艰巨的任务，它是搜索引擎系统中很关键也很基础的构件。
本文主要介绍与网络爬虫相关的技术，尽管爬虫经过几十年的发展，从整体框架上来看已经相对成熟，但随着互联网的不断发展，也面临着一些新的挑战。
二、通用爬虫技术框架
爬虫系统首先从互联网页面中精心选择一部分网页，以这些网页的链接地址作为种子URL，将这些种子放入待抓取URL队列中，爬虫从待抓取URL队列依次读取，并将URL通过DNS解析，把链接地址转换为网站服务器对应的IP地址。
然后将其和网页相对路径名称交给网页下载器，网页下载器负责页面的下载。
对于下载到本地的网页，一方面将其存储到页面库中，等待建立索引等后续处理；另一方面将下载网页的URL放入已抓取队列中，这个队列记录了爬虫系统已经下载过的网页URL，以避免系统的重复抓取。
对于刚下载的网页，从中抽取出包含的所有链接信息，并在已下载的URL队列中进行检查，如果发现链接还没有被抓取过，则放到待抓取URL队列的末尾。在之后的抓取调度中会下载这个URL对应的网页。
如此这般，形成循环，直到待抓取URL队列为空，这代表着爬虫系统将能够抓取的网页已经悉数抓完，此时完成了一轮完整的抓取过程。
非常感谢您有耐心的读完商企云建站公司的这篇文章："网站seo优化了解入门爬虫技术原理一"，仅为提供更多信息供用户参考使用或为学习交流的方便。我们公司不仅提供：网站建设、网站制作、seo网站优化、网站推广、APP开发、快速排名、网页设计、建网站等服务，而且利用互联网营销手法，多平台，多样化进行品牌内容铺设，营造企业正面形象，诚挚为您服务，欢迎您的到来。
