hive数据仓库搭建

一、hive数据仓库安装

1.1下载hive安装包

下载链接

解压到当前文件夹

 tar -zxvf apache-hive-2.3.9-bin.tar.gz 

移动到安装目录

sudo mv apache-hive-2.3.9-bin /usr/local

1.2修改配置文件

进入到安装目录的conf目录

cd /usr/local/apache-hive-2.3.9-bin/conf

使用复制方式新建hive-default.xml文件

 cp hive-default.xml.template hive-default.xml

新建hive-site.xml

 gedit hive-site.xml

粘贴如下内容

 <?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- ########################### hive的 JDBC连接 ############################ -->
    <!-- mysql 连接用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- mysql 连接密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <!-- mysql 连接URL 如果hive和mysql在同一服务器上使用localhost -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.22.49:3306/myhive</value>
    </property>
    <!-- mysql 连接驱动 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>

</configuration>

其中192.168.22.49为物理机ipmyhive数据库需要在物理机mysql5.7中创建否则执行./schematool -initSchema -dbType mysql报错

1.3初始化元数据库

下载mysql驱动jar包
下载链接

下载完成之后放到/usr/local/apache-hive-2.3.9-bin/lib路径下
进入/usr/local/apache-hive-2.3.9-bin/bin目录下执行初始化元数据库
命令

./schematool -initSchema -dbType mysql

1.4修改环境变量

更新hive环境变量到配置文件

sudo gedit /etc/profile

文件末尾追加

export HIVE_HOME=/usr/local/apache-hive-2.3.9-bin
export PATH=$PATH:$HIVE_HOME/bin

刷新环境

source /etc/profile

1.5验证安装

在保证hadoop集群处于打开状态物理机mysql处于运行状态执行以下命令

hive

通过hive搭建可以实现对物理机mysql5.7中数据库的操作。

二、windows物理机安装mysql

之所以把这个放到hive安装之后是因为我原来已经安装过了如果你原来没有安装的话需要先安装这个再进行hive搭建

安装包
链接: https://pan.baidu.com/s/1uA–xggCc0HKXuA3IpluBg 提取码: 4r5x
安装需要勾选MySQL Server 以及MySQL Workbench进行安装

安装出现关于Microsoft Visual c++ 2013的报错可以看看这个

三、vmtool安装

vmtool可以实现在物理机和虚拟机之间复制粘贴与hive搭建并无关系
若未安装此处为安装VMware Tools ,点击进行安装

安装VMware-tool工具选项为黑色解决参考https://blog.csdn.net/weixin_45158066/article/details/123268884
安装过后打开虚拟机将VMware-tool系统分区的文件复制到虚拟机文件分区,如/home/huangqifa/VMware-tool

解压

tar -xzvf VMwareTools-10.3.23-17030940.tar.gz

去解压目录找到vmware-install.pl进入该目录打开终端
执行安装命令

sudo ./vmware-install.pl -d

之后就可以和本机之间进行复制粘贴了整体可以说就是参考虚拟机软件下面那行黄色提示

具体安装参考https://blog.csdn.net/zhujing16/article/details/88677253

四、阶段总结

到此云计算课程就正式结束该教程到这里就要和大家说拜拜了。

基于本次云计算课程的环境搭建可以实现:
大数据电影可视化系统
基于本项目的云计算课程结课报告设计流程图等我的结课提交材料见以下github链接
Cloud-Computing-Course-Closing-Report

参考文献
CentOS7 Hive 安装
大数据电影可视化系统