hg17+hive+vom
@项侍1663：如何配置hive访问其他服务器的hadoop -
符肢15731728184…… 1、下载hive(http://archive.cloudera.com/cdh/testing/hive-0.3.99.1+0.tar.gz),解包把它放到目录 /usr/local/hadoop/contrib并改名为hive,改属主(chown -R hadoop:hadoop). 2、下载ant (http://labs.xiaonei.com/apache-mirror/ant/binaries/apache-...
@项侍1663：如何使用kettle连接hive和hive2 -
符肢15731728184…… 连接hive的方法:进入hive所在的服务器,输入:hive --service hiveserver(目的:启动thrift) 打开kettle配置连接界面,输入hive所在服务器的ip、所需要的hive库、端口号(thrift默认端口为:10000) 测试连接,即可 连接hive2的方法:[plain] ...
@项侍1663：如何将hive的结果写入mysql -
符肢15731728184…… 大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中7a686964616fe4b893e5b19e31333361306462,再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中.今天同事给推荐了一个利用udf函...
@项侍1663：如何配置hive,使hive能使用spark引擎 -
符肢15731728184…… 1、为了让Spark能够连接到Hive的原有数据仓库,我们需要将Hive中的hive-site.xml文件拷贝到Spark的conf目录下,这样就可以通过这个配置文件找到Hive的元数据以及数据存放. 在这里由于我的Spark是自动安装和部署的,因此需要知道CDH...
@项侍1663：怎么将hive自定义UDAF函数永久加载到hive里 -
符肢15731728184…… 1.首先添加jar包.hive> ADD JAR /dir/dir/*****.jar;2.创建函数hive> CREATE TEMPORARY FUNCTION myfunction AS 'com.example.MyFunction'; 永久加载:在.hiverc文件中添加相关语句!
@项侍1663：如何用Hive访问Hadoop上数据 -
符肢15731728184…… 步骤 Hive提供了jdbc驱动,使得我们可以连接Hive并进行一些类关系型数据库的sql语句查询等操作,首先我们需要将这些驱动拷贝到报表工程下面,然后再建立连接,最后通过连接进行数据查询.拷贝jar包到FR工程 将hadoop里的hadoop-...
@项侍1663：如何查询hive的远程服务连接参数 -
符肢15731728184…… 1、hive 命令行模式,直接输入/hive/bin/hive的执行程序,或者输入 hive --service cli 用于linux平台命令行查询,查询语句基本跟mysql查询语句类似2、 hive web界面的 (端口号9999) 启动方式 hive –service hwi & 用于通过浏览器来访问hive,感...
@项侍1663：如何使用hive数据作为map的input -
符肢15731728184…… 自定义Hive Table的分隔符.Hive shell代码 收藏代码 CREATE TABLE supply (id INT, part STRING, quantity INT) PARTITIONED BY (day INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY '.' COLLECTION ITEMS TERMINATED BY ',' MAP KEYS TERMINATED BY '=' STORED AS SEQUENCEFILE; 这样就可以避开控制字符.
@项侍1663：如何显示hive中所有库中的表名 -
符肢15731728184…… 1 进入HIVE之前要把HADOOP给启动起来,因为HIVE是基于HADOOP的.所有的MR计算都是在HADOOP上面进行的. 2 在命令行中输入:hive.这个时候就可以顺利的进入HIVE了.当然了,如果你想直接执行HQL脚本文件可以这样:hive -f xxxxx.hql.
@项侍1663：远程连接元数据库hive.metastore.uris怎么写 -
符肢15731728184…… hive配置远程metastore的方法: 1)首先配置hive使用本地MySQL存储metastore(服务器A 111.121.21.23)(也可以使用远程mysql存储) 2)配置完成后,在服务器A启动服务:/etc/init.d/Hadoop-hive-metastore start (默认监听端口是:...
符肢15731728184…… 1、下载hive(http://archive.cloudera.com/cdh/testing/hive-0.3.99.1+0.tar.gz),解包把它放到目录 /usr/local/hadoop/contrib并改名为hive,改属主(chown -R hadoop:hadoop). 2、下载ant (http://labs.xiaonei.com/apache-mirror/ant/binaries/apache-...
@项侍1663：如何使用kettle连接hive和hive2 -
符肢15731728184…… 连接hive的方法:进入hive所在的服务器,输入:hive --service hiveserver(目的:启动thrift) 打开kettle配置连接界面,输入hive所在服务器的ip、所需要的hive库、端口号(thrift默认端口为:10000) 测试连接,即可 连接hive2的方法:[plain] ...
@项侍1663：如何将hive的结果写入mysql -
符肢15731728184…… 大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中7a686964616fe4b893e5b19e31333361306462,再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中.今天同事给推荐了一个利用udf函...
@项侍1663：如何配置hive,使hive能使用spark引擎 -
符肢15731728184…… 1、为了让Spark能够连接到Hive的原有数据仓库,我们需要将Hive中的hive-site.xml文件拷贝到Spark的conf目录下,这样就可以通过这个配置文件找到Hive的元数据以及数据存放. 在这里由于我的Spark是自动安装和部署的,因此需要知道CDH...
@项侍1663：怎么将hive自定义UDAF函数永久加载到hive里 -
符肢15731728184…… 1.首先添加jar包.hive> ADD JAR /dir/dir/*****.jar;2.创建函数hive> CREATE TEMPORARY FUNCTION myfunction AS 'com.example.MyFunction'; 永久加载:在.hiverc文件中添加相关语句!
@项侍1663：如何用Hive访问Hadoop上数据 -
符肢15731728184…… 步骤 Hive提供了jdbc驱动,使得我们可以连接Hive并进行一些类关系型数据库的sql语句查询等操作,首先我们需要将这些驱动拷贝到报表工程下面,然后再建立连接,最后通过连接进行数据查询.拷贝jar包到FR工程 将hadoop里的hadoop-...
@项侍1663：如何查询hive的远程服务连接参数 -
符肢15731728184…… 1、hive 命令行模式,直接输入/hive/bin/hive的执行程序,或者输入 hive --service cli 用于linux平台命令行查询,查询语句基本跟mysql查询语句类似2、 hive web界面的 (端口号9999) 启动方式 hive –service hwi & 用于通过浏览器来访问hive,感...
@项侍1663：如何使用hive数据作为map的input -
符肢15731728184…… 自定义Hive Table的分隔符.Hive shell代码 收藏代码 CREATE TABLE supply (id INT, part STRING, quantity INT) PARTITIONED BY (day INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY '.' COLLECTION ITEMS TERMINATED BY ',' MAP KEYS TERMINATED BY '=' STORED AS SEQUENCEFILE; 这样就可以避开控制字符.
@项侍1663：如何显示hive中所有库中的表名 -
符肢15731728184…… 1 进入HIVE之前要把HADOOP给启动起来,因为HIVE是基于HADOOP的.所有的MR计算都是在HADOOP上面进行的. 2 在命令行中输入:hive.这个时候就可以顺利的进入HIVE了.当然了,如果你想直接执行HQL脚本文件可以这样:hive -f xxxxx.hql.
@项侍1663：远程连接元数据库hive.metastore.uris怎么写 -
符肢15731728184…… hive配置远程metastore的方法: 1)首先配置hive使用本地MySQL存储metastore(服务器A 111.121.21.23)(也可以使用远程mysql存储) 2)配置完成后,在服务器A启动服务:/etc/init.d/Hadoop-hive-metastore start (默认监听端口是:...
