本节主要介绍了在遇到性能瓶颈的时候，我们有什么办法来解决
从上一章节中，我们得知我们现在已经得到了链接，下面我们就可以通过GET/POST方式发送请求，得到目标网站的回应.然后根据返回的资源格式的不同，分门别类的采取对应措施来解析取的数据.绝大多数都是业界主流的html格式还有就是前面章节里提到的JSON。首先我们来说说html.HTML作为如今网页的基础，为互联网发展做出了巨大的贡献.一般我们用来解析HTML是通过DOM来解析的.
从上一章我们知道,获取链接是爬虫工作的第一步.除去我们事先给与的链接外，大部分链接都要靠通过挖掘现有的链接得到，而网上的网页很多是重复的，过期的和没有参考性的。那么，我们如何在爬取过程中避免出现这些情况呢？我们可以通过地址去重来避免抓取的重复页面，然后通过价值算法来提升优质链接的优先级来避免抓取到无参考性的和过期的页面.首先我们来说下地址去重。
从本章开始，我们来讲讲爬虫的优化.不知道你有没有遇到这种情况，那就是别人的一天能上百万数量级还都是优质数据，而同等配置的你的爬虫一天只有十几万而且质量还是参差不齐呢？那就是你没有还好的优化爬虫.在追求爬虫的极致性能的今天，如何优化爬虫都将是爬虫爱好者们面对的重要问题。那么，从现在开始，我们将逐步的从起始出发，一步步的为爬虫更好的爬取信息而努力.
本节主要介绍了怎么样才能提高爬虫的效率.
这一节介绍一下通过JSON进行前后端交互的爬取技巧和一些我个人觉得挺有意思的反爬措施.JSON交互的话，基本就是通过ajax动态加载技术将后台传回的数据通过js渲染的方式放进网页中.由服务端发送一个ajax请求，然后根据后台配置返回相应的JSON数据来进行动态渲染.如果网站是这么运行的，那么页面就无需重新加载整个网页就可以对网页的某部分进行更新。
这一小节重点介绍两个利器phantomjs和selenium.通过利用这些工具可以破解本地JS环境的反爬措施.本地JS环境是个杀器，可以通杀没有本地环境的任意爬虫.其原理是因为浏览器自带有引擎，引擎中包含有js运行环境.
从这一小节开始，我们开始了解常用的几个反爬手段.首先是封禁类.我们经常会遇到爬取过度而导致IP被封或者是账号被封。你知道是怎么一回事么? 在这里，我们将详细的了解下我们在什么情况下会遭到此类惩罚。同时，一些常用的判断规则又是什么？一般来说，我们如果触发了反爬系统所设定的条件的话，就会引发封禁.
本章节将开始讲述那些厂商为何确保自己的利益是怎么样进行反爬的.实话说，与对方的反爬措施做斗争可以称得上开发过程中为数不多的趣味了，同样也可以说是一种折磨了.你会见到各种奇妙无比，匪夷所思，令人拍案叫绝的反爬手段。同时你还得绞尽脑汁的去绕过这些.在前面的章节中，我们提到爬虫是我们获取互联网信息的一种重要手段,那么有矛必有盾.
本节主要介绍了市面上大多数的反爬手段..
该小节与上一节差不多，继续以介绍为主.数据模型训练材料是指通过爬虫爬取的具有关联性的特定数据来作为各种数据模型的训练材料，从而得出各种结论.这类用途因为涉及到很多计算模型的专业知识，所以我们通过社会舆论分析，机器翻译，地域性特征图这几个例子为重点，来讲讲我们会在什么时候用上这些技术。网络舆论分析首先，我们了解下什么叫网络舆论.
该小节会从定义和用途上介绍一下搜索引擎爬虫.搜索引擎爬虫在整体用途中算少数.它主要是看robot.txt来获取页面的信息.然后尽可能快的，深的挖掘出互联网中的所有链接.按照前面所说，该类爬虫分为批量型，增量型和垂直型三类.批量型此类爬虫有比较明确的抓取范围和目标，当爬虫达到这个设定的目标后，即停止抓取过程.
这节我们介绍爬虫能用来干什么.如今每天互联网上的流量足足有10亿GB左右，不可能毫无选择的全部爬取下来，这是要根据我们自己的需求来有选择的爬取相对应的数据.那爬虫可以用来干什么呢？我们根据实际需要将爬虫的目标分为三类.第一类是通过搜索引擎的网络爬虫来充实搜索引擎的索引列表.这部分需求所需要的数据是各种网页的地址，标题，主题字等等.
本节主要介绍了爬虫可以承担的一些工作
在文章的最开头，我来谈谈爬虫我是怎么入门的，希望能对你们有些启示.我从零基础开始入门的时候，是看着各种杂七杂八的教程过来的.这个零基础是真正的零基础，你能想象一个连数据库都不知道的是怎么过来的么，所以我在文章中有些地方掺杂了一些最基础的概念，就是希望一些完全没基础的也能很好的理解.如果你了解这个概念，可以把这部分略过.
一转眼进这家公司也快一年多了，总想写点什么来记录一下最近学到的不少.毕竟，学习的最后一节是输出.既然这样，我也就琢磨着写一点自己对于爬虫的一些了解和知道的一些技巧，知识有限，文章还是挺短的，大概只有一万多字，看的话，不会费多长时间.希望大家能在学爬虫之前先来看看此书.我相信会对大家的爬虫之路有帮助的.
本节主要介绍了写作动机然后表达了一下我对爬虫的一些看法.
本书的目标读者是那些在网上看了人家用爬虫干了很多事，也想要学习爬虫且不仅仅陷入去爬MM图片这种程度，想要深入了解爬虫这种技术的读者.这书很适合在看各种教程之前看，大体上说了很多有关爬虫的最基本的知识.大概有个一两万字，看完应该不会很花时间.这书里不涉及具体代码以及逻辑.
到目前为止，为了简单起见，在我们的例子中都是使用单一的Tornado进程运行的。这使得测试应用和快速变更非常简单，但是这不是一个合适的部署策略。部署一个应用到生产环境面临着新的挑战，既包括最优化性能，也包括管理独立进程。本章将介绍强化你的Tornado应用、增加请求吞吐量的策略，以及使得部署Tornado服务器更容易的工具。8.
编写安全应用的例子像我们展示了如何使用安全cookies和tornado.web.authenticated装饰器来实现一个简单的用户验证表单。在本章中，我们将着眼于如何对第三方服务进行身份验证。流行的Web API，比如Facebbok和Twitter，使用OAuth协议安全验证某人的身份，同时允许他们的用户保持第三方应用访问他们个人信息的控制权。
关注时代Java
