学习 Avro(二):Spark Streaming 使用 Avro

思路 生产者使用 Avro 对数据进行序列化,发送数据到 Kafka 的指定 Topic 队列 消费者订阅 Kafka 指定 Topic 订阅,使用 Avro 对数据进行反序列化 生产者和消费者使用相同的 Avro Schema,保存在外部存储中,例如:Redis 等 序列化与反序列化 Bijection »

学习 Avro(一):初识 Avro

Apache Avro 是 Hadoop 生态圈下数据序列化框架,既可以用于 RPC 调用,又可以用于数据存储。 与 Avro 类似的序列化框架还有: Apache Thrift Google ProtoBuf Avro 主要由两部分组成: JSON 格式,定义的 schema 二进制格式,定义的数据 依赖 编辑 »