定向网络爬虫技术和反反爬虫策略

爬虫作为搜索引擎核心部件，伴随着互联网规模的发展而壮大。在互联网初期，规模不是很大的时候，网站分类较少，内容也偏少，在互联网查找信息很容易。然而随着网络信息和资源的不断增多，如何快捷的获得用户期望的信息变得非常重要，爬虫作为自动获取网页信息的工具，得到了极大的发展。