Elasticsearch 在腾讯内部广泛应用于日志实时分析、结构化数据分析、全文检索等场景，目前单集群规模达到千级节点、万亿级吞吐，同时腾讯联合 Elastic 公司在腾讯云上提供了内核增强版 ES 云服务。海量规模、丰富的应用场景推动着腾讯对原生 ES 进行持续的高可用、高性能、低成本等全方位优化。本次分享主要剖析腾讯对 Elasticsearch 海量规模下的内核优化与实践，希望能和广大 ES 爱好者共同探讨推动 ES 技术的发展。
没有疑问，我们已经身处物联网时代了，每天都有数不清的各类物联网设备被连接起来，让我们可以以前所未有的视角重新观察和感知我们所处的这个物理世界。这个背后当然涉及到物联网技术的各个环节，比如如何将设备快速安全可靠的接入云端，如何管理这些设备，如何对源源不断采集到的数据进行合适的处理等等。而这篇博客我主要想分享下个人认为物联网的数据分析可能应该是什么样的。
常见的海量数据处理方法给定 a、b 两个文件，各存放50亿个 url，每个 url 各占64字节，内存限制是 4 G，让你找出 a、b 文件共同的 url？方案1：可以估计每个文件安的大小为 50 G×64=320 G，远远大于内存限制的 4 G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。
图片空间是淘宝智能图片中心面向商家提供的免费图片存储管理服务，由于淘宝、天猫主站上累积的用户图片数据量非常大（想想淘宝/天猫的商家和消费者每天要上传多少图片！），并且增长量惊人，图片空间业务面临着非常巨大的存储空间和写入性能压力。尤其每年双11之前，商家大量更新商品库存保有单位SKU（Stock keeping Unit），此时数据会急剧增长。
我们都知道随着业务系统的发展和使用，数据库存储的业务数据量会越来越大，逐渐成为了业务系统的瓶颈。在阿里巴巴开发手册中也建议：单表行数超过500万行或者单表容量超过2GB才推荐进行分库分表，如果预计三年后数据量根本达不到这个级别，请不要在创建表时就分库分表。数据库最终都是存储在磁盘上，随着数据量变大，会导致数据操作变得缓慢，无论是计算还是IO，但是话又说回来，单表数据量大就一定要进行分库分表操作吗？
Redis + NodeJS 实现一个能处理海量数据的异步任务队列系统
关注时代Java
