当您第一次接触 Serverless 的时候,有一个不那么明显的新使用方式:与传统的基于服务器的方法相比,Serverless 服务平台可以使您的应用快速水平扩展,并行处理的工作更加有效。这主要是因为 Serverless 可以不必为闲置的资源付费,不用担心预留的资源不够。而在传统的使用范式中,用户必须预留成百上千的服务器来做一些高度并行化但执行时长较短的任务,而且必须为每一台服务器买单,即使有的服务器已经不再工作了。
常见的海量数据处理方法给定 a、b 两个文件,各存放50亿个 url,每个 url 各占64字节,内存限制是 4 G,让你找出 a、b 文件共同的 url?方案1:可以估计每个文件安的大小为 50 G×64=320 G,远远大于内存限制的 4 G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。
关注时代Java