百度搜索引擎解决很多的网页。一方面，为了能节约网络带宽、测算和服务器资源，另一方面，以便满足用户的检索要求，采用不足的网络资源来捕捉有价值的网页，因而百度搜索引擎在解决很多网页的时候会有一定的策略。文中简要介绍了互联网爬行的关键策略，如深度广度优先选择、深层解析xml策略、非反复爬行策略、大网站优先选择策略、不完全pagerank策略、OCIP策略、协作爬行策略。
深度优先，深度优先的解析xml策略；深度广度优先选择的原因是关键的网页通常贴近种子网站；因特网的深层没有我们预估的那样深，反而是出乎意料的深（中国万维网仅有17个孔径和长短，即在随意2个网页中间能够浏览17次）；多履带式协作抓取深度优先的不好结论：非常容易使履带式深陷过流保护，不可反复抓取；不可把握机会；
处理以上2个缺陷的方法是什么深度优先抓取和非反复抓取策略；避免履带式从无期限地以总宽优先选择抓取，务必在一定的深层抓取。做到此深层即因特网的外径和长短后，限定水平并终止抓取。当爬行终止在深层时，这些过深而并没有爬行的页面一直期待从别的种籽网站更经济实惠地抵达。
限定抓取深层会毁坏无限循环的标准，即便循环系统产生，也会在比较有限的频率后终止。点评：总宽优先选择、深度优先的解析xml策略能够合理地确保爬行全过程的紧密性，即在爬行全过程（解析xml途径）中，一直对同一网站域名下的网页开展爬行，而对别的网站域名下的网页则非常少。
无反复抓取策略确保了一个转变并不大的网页只有被抓取一次，避免反复抓取占有很多的CPU和网络带宽自然资源，进而集中化比较有限的网络资源地区来抓取更重要、更高质量网页。Larser网站优先选择一般是商业网站的高品质具体内容，网页品质一般比较高。从企业网站的视角考量网页的重要性有一定的根据。针对要爬网的URL序列里的页面，下载优先由等候下载的页面数确定。
下载页面（不完整Internet页面的子集合）的一部分pagerank策略（一部分pagerank）与待爬行的URL序列里的URL一起产生一组页面，请在集合中测算pagerank；通过测算，待爬行的URL序列里的页面依据pagerank评分由高到低排列，产生一个SE。那就是履带拼凑。应先后往下爬行的URL目录。因为pagerank是一种全局性优化算法，即当每一个页面都被下载时，数值是靠谱的，可是爬行器在爬行情况下只有触碰到一部分页面，因此爬行时无法实现靠谱的pagerank测算，因此称之为不完全pagerank策略。
OCIP策略（线上页面必要性测算）字面意思是“线上页面必要性测算”，这是一种改善的pagerank优化算法。在优化算法逐渐以前，每一个Internet页面都被分派同样的值。当一个页面p被下载时，p将它自身的值平分给页面中包括的连接，与此同时消除它自身的值。针对要爬网的URL序列里的网页，优先考虑依据目前值的尺寸下载值很大的网页。
协作爬行策略（爬行加快策略）能通过提升爬行器的数目来增强总体的爬行速率，但工作中负荷必须溶解为不一样的互联网爬行器，以保证职责分工清楚，避免好几个爬行器在同一页面上爬行，使资源被浪费。
根据溶解网络主机的IP地址，让网络爬虫只抓取大中小型网址的一个网页段，因为资金缘故，一般在一台服务器上给予不一样的互联网服务，使好几个网站域名相匹配一个IP段；而新浪网、搜狐网等商业网站一般应用web服务的IP gro。往上技术性，同一网站域名相匹配好几个。IP地址。因而，这类方式不方便。根据溶解网页的网站域名，网络爬虫只有对网页的网站域名一部分开展网络爬虫，并且为不一样的网络爬虫分派不一样的网站域名。
