与Flink标签相关的技术文章 - 时代Java，与您同行！

时代Java，与您同行！关注微信公众号，关注前沿技术，微信搜索：nowjava或时代Java，也可点击这里扫码关注

时代Java

登录注册

与 “Flink” 标签相关内容。

大数据处理之日均百亿级日志处理：微博基于 Flink 的实时计算平台建设（一）

随着微博业务线的快速扩张，微博广告各类业务日志的数量也随之急剧增长。传统基于 Hadoop 生态的离线数据存储计算方案已在业界形成统一的默契，但受制于离线计算的时效性制约，越来越多的数据应用场景已从离线转为实时。微博广告实时数据平台以此为背景进行设计与构建，目前该系统已支持日均处理日志数量超过百亿，接入产品线、业务日志类型若干。

黑派客 2019-11-01 05:17:58 2019-11-01 05:17:58

大数据，日志， Flink，实时，计算，平台
Flink 在快手实时多维分析场景的应用

快手计算链路是从 DB/Binlog 以及 WebService Log 实时入到 Kafka 中，然后接入 Flink 做实时计算，其中包括实时数仓、实时分析以及实时训练，最后的结果存到 Druid、Kudu、HBase 或者 ClickHouse 里面；同时 Kafka 数据实时 Dump 一份到 Hadoop 集群，然后通过 Hive、MapReduce 或者 Spark 来做离线计算；最终实时计算和离线计算的结果数据会用内部自研 BI 工具 KwaiBI 来展现出来。

黑派客 2020-06-23 01:41:20 2020-06-23 01:41:20

Flink，快手，实时，多维，分析，场景
滴滴基于 Flink 的实时数仓建设实践

随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。

欢马劈雪 2020-09-03 05:30:30 2020-09-03 05:30:30

滴滴， Flink，实时，数仓，建设，实践
Flink CDC 2.0 正式发布，详解新特性和核心改进。

CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC 。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。CDC 技术的应用场景非常广泛：

欢马劈雪 2021-08-16 02:40:05 2021-08-16 02:40:05

Flink， CDC， 2.0，新特性，核心，改进
flink-ai-extended 原理以及 Flink 结合 TensorFlow 模型训练和预测。

当前，深度学习的应用越来越多样化，随之涌现出诸多优秀的计算框架。其中 TensorFlow，PyTorch，MXNeT 作为广泛使用的框架更是备受瞩目。在将深度学习应用于实际业务的过程中，往往需要结合数据处理相关的计算框架如：模型训练之前需要对训练数据进行加工生成训练样本，模型预测过程中需要对处理数据的一些指标进行监控等。在这样的情况下，数据处理和模型训练分别需要使用不同的计算引擎，增加了用户使用的难度。

欢马劈雪 2020-05-28 05:34:06 2020-05-28 05:34:06

flink-ai-extended，原理， Flink， TensorFlow，模型，训练，预测
Apache Flink 1.13.0 正式发布，重要特性汇总！

Flink 1.13 发布了！Flink 1.13 包括了超过 200 名贡献者所提交的 1000 多项修复和优化。这一版本中，Flink 的一个主要目标取得了重要进展，即让流处理应用的使用和普通应用一样简单和自然。Flink 1.13 新引入的被动扩缩容使得流作业的扩缩容和其它应用一样简单，用户仅需要修改并发度即可。这个版本还包括一系列重要改动使用户可以更好的理解流作业的性能。当流作业的性能不及预期的时候，这些改动可以使用户可以更好的分析原因。这些改动包括用于识别瓶颈节点的负载和反压可视化、分析算子热点代码的 CPU 火焰图和分析 State Backend 状态的 State 访问性能指标。

欢马劈雪 2021-06-05 04:43:45 2021-06-05 04:43:45

Apache， Flink， 1.13.0，正式，发布，重要，特性，汇总、
Flink+Hologres亿级用户实时UV精确去重最佳实践

对于实时计算场景，可以使用Flink+Hologres方式，并基于RoaringBitmap，实时对用户标签去重。这样的方式，可以较细粒度的实时得到用户UV、PV数据，同时便于根据需求调整最小统计窗口（如最近5分钟的UV），实现类似实时监控的效果，更好的在大屏等BI展示。相较于以天、周、月等为单位的去重，更适合在活动日期进行更细粒度的统计，并且通过简单的聚合，也可以得到较大时间单位的统计结果。

欢马劈雪 2021-06-05 04:58:37 2021-06-05 04:58:37

Flink， Hologres，亿级，用户，实时， UV，精确，去重，实践

大数据处理之日均百亿级日志处理：微博基于 Flink 的实时计算平台建设（一）

Flink 在快手实时多维分析场景的应用

滴滴基于 Flink 的实时数仓建设实践

Flink CDC 2.0 正式发布，详解新特性和核心改进。

flink-ai-extended 原理以及 Flink 结合 TensorFlow 模型训练和预测。

Apache Flink 1.13.0 正式发布，重要特性汇总！

Flink+Hologres亿级用户实时UV精确去重最佳实践

热门标签

社区

关于