Flink 源码分析(三):生成 StreamGraph

更新至 Flink 1.9.0 版本 下面以 Flink 工程自带的 wordcount 程序为例,分析应用执行。 执行环境 创建执行环境: final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); org.apache.flink.streaming.api.environment.StreamExecutionEnvironment »

学习 Flink(十八):单元测试

更新至 Flink 1.9.0 版本 Flink 提供了基于 JUnit 的单元测试工具库 flink-test-utils。 依赖 编辑 pom.xml 文件,添加依赖: <dependency> <groupId>org.apache.flink& »

学习 Flink(十七):HyperLogLog 去重计数

在需要对数据进行去重计数的场景里,实现方式是将数据明细存储在集合的数据结构中。然而,随着数据随时间的不断累积,明细数据占用了大量的存储空间。使用 HyperLoglog 去重计数,在牺牲非常小准确性的情况下,可以极大的减少数据存储。 依赖 编辑 pom.xml 文件,添加依赖: <dependency> <groupId>net.agkn</groupId& »