大数据技术架构(组件)——Hive：环境准备2

1.0.1.5、Mysql安装

1.0.1.5.1、软件包下载解压缩

官网或者直接从百度云盘中下载即可。

https://dev.mysql.com/downloads/mysql/

1.0.1.5.2、环境变量配置

1.0.1.5.2.1、创建系统环境变量MYSQL_HOME

1.0.1.5.2.2、将系统环境变量配置到Path上

1.0.1.5.2.3、生成Data文件

使用系统管理员打开CMD窗口

--执行下面命令 
mysqld --initialize-insecure --user=mysql

1.0.1.5.2.4、安装MYSQL并启动服务

--执行命令
mysqld -install
--启动服务
net start MySQL

1.0.1.5.2.5、登录Mysql并修改密码

--初始登录时不需要密码直接回车即可
mysql -u root -p
--修改root默认密码
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql native password BY '123456';
--刷新提交
flush privileges;

1.0.1.6、Hive安装

如果你想要深入学习Hive底层那么源码编译是必不可少的所以本篇将采用源码包编译安装的方式。

1.0.1.6.1、下载软件包并解压缩

1.0.1.6.2、编译

mvn clean package -Phadoop-2 -DskipTests -Pdist

注意在编译的过程中遇到问题的可能性非常大大部分是因为maven可能是网络问题也可能跟你的镜像配置也有关系。另外对于一些模块编译过程中出现Could not transfer artifact XXXX的问题可以先把pom文件中的scope设置注释掉

1.0.1.6.3、安装

编译完成后可以在$HIVE_SRC_HOME/packaging/target目录下找到对应的可执行的压缩包

1.0.1.6.3.1、配置环境变量

创建HIVE_HOME系统变量然后将该变量追加引用到Path变量中

1.0.1.6.3.2、编辑配置文件

1.0.1.6.3.2.1、编辑hive-env.sh文件

#配置环境信息
# Set HADOOP HOME to point to a specific hadoop install directory
export HADOOP_HOME=D:\GitCode\hadoop-2.7.2
# Hive Configuration Directory can be controlled by:
export HIVE CONF DIR=D: GitCode apache-hive-2.3.9-bin\conf
# Folder containing extra libraries required for hive compilation/execution can be controlled by:
export HIVE AUX JARS PATH=D: GitCode apache-hive-2.3.9-bin lib

1.0.1.6.3.2.2、编辑hive-site.xml文件

该文件中的参数稍微有些多不过我们只改动基础的部分即可。

<property>
    <name>hive .repl.rootdir</name>
    <value>D:\GitCode\apache-hive-2.3.9-bin\tmp_local</value>
</property>

<property>
    <name>hive.repl.cmrootdir</name>
    <value>D:\GitCode\apache-hive-2.3.9-bin\tmp_local</value>
</property>

<property>
    <name>hive.exec.local.scratchdir</name>
    <value>D:\GitCode\apache-hive-2.3.9-bin\tmp_local</value>
</property>

<property>
    <name>hive .downloaded.resources .dir</name>
    <value>D:\GitCode\apache-hive-2.3.9-bin\tmp_local\${hive.session.id}_resources</value>
</property>

<property>
    <name>hive.server2.logging.operation.log.location</name>
    <value>D:\GitCode\apache-hive-2.3.9-bin\tmp_local</value>
</property>

<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
</property>

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysgl://ocalhost:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8</value>
</property>

<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root< value>
</property>

<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
</property>

1.0.1.6.3.2.3、log文件重命名

将conf文件中的几个Log文件后缀带有template移除即可

1.0.1.6.3.3、驱动包加载

本文使用mysql作为元数据存储因此需要将JDBC的驱动包放到$HIVE_HOME/lib目录下

1.0.1.6.3.4、元数据初始化

在windows环境下$HIVE_HOME/bin目录下并未找到cmd结尾的可执行文件因此为了调通基础环境可以从低版本中进行拷贝。本文涉及到的脚本和软件包都打包上传到云盘中

# 打开cmd命令行
$HIVE HOME/bin> hive schematool -dbType mysgl -initSchema --verbose

注意在初始化过程中可能会有表无法创建的问题这里手动创建即可。或者直接source sql文件。本篇文章使用的是hive-shceam-2.3.0.mysql.sql

SQL文件位置于HIVE_HOME/scripts/metastore/upgrade/mysql下