学习 Hive(五):Hive MetaStore Java API

通过 Java 获取 Hive 元数据信息有两种方式: hive-metastore 包,通过 Hive Metastore Server 获取; hive-jdbc 包,通过 HiveServer2 获取。 对比两种方式,如果仅获取 Hive 元数据信息,而不操作底层数据,建议使用第一种方式。 依赖 首先,将 »

学习 Presto(四):集成 Hive

Hive 简介 Apache Hive 主要由三部分组成: 数据,存储在 HDFS 的文件集,文件格式为 CSV、 ORA、Avro 或者 Parquet 等 元数据,保存在 MySQL 的表,记录了 Hive 表定义等元数据信息 执行引擎,默认为 MapReduce, »

学习 Spark 2(四):Spark 读写 Hive

启用 Hive 在使用 Builder 模式 SparkSession.Builder 创建 SparkSession 实例,通过调用 enableHiveSupport() 即可启用 Hive: SparkSession.builder() .master("yarn") .appName(appName) .enableHiveSupport() .getOrCreate() 在使用 Oozie 运行 Spark »

Hive 查询 JSON 格式数据

添加 Jar 包 JSON SERDE 实现类所在 JAR 在 hcatalog 中,需要将其添加到 classpath 中: ADD JAR $HIVE_HOME/hcatalog/share/hcatalog/hive-hcatalog-core-2.0.1.jar 创建表 创建 »

Spark SQL ThriftServer 使用

配置 拷贝 $HIVE_HOME/conf/hive-site.xml 文件到 $SPARK_HOME/conf 目录下。 编辑 $SPARK_HOME/conf/spark_env.sh 文件,将 MySQL Driver 包添加到 SPARK_CLASSPATH »