学习 HDFS(十一):WebHDFS

除了 Hadoop 官方提供的基于 Java 的 Apache Hadoop HDFS Client 和基于 C 的 libhdfs 之外,HDFS 还提供了 REST API 操作 HDFS —— WebHDFS。 操作 显示文件状态 显示 /data 文件夹状态: »

学习 Flink(十六):Streaming Parquet File

更新至 Flink 1.8 版本 Flink 支持将流数据以文件的形式写入文件系统(HDFS、本地文件系统),支持 CSV、JSON 面向行的存储格式和 Parquet 面向列的存储格式。 应用场景:Flink 消费 Kafka 数据进行实时处理,并将结果以 Avro / Parquet 格式写入 HDFS。之后, »

学习 Docker(二):镜像与容器

镜像(Image)是打包的环境和软件栈,容器(Container)是在物理机上相互隔离运行的镜像。 如果以面向对象编程作为比喻,镜像相当于类,而容器相当于类的实例。类只有一个,而实例可以有许多个。 Docker Hub 为镜像的中央仓库 ,由于不可言语的原因,访问国外的中央仓库非常不稳定,可以使用国内 DaoCloud 镜像进行加速。 镜像 查看本地镜像: docker images 拉取镜像,以 Jenkins »