#yyds干货盘点#
要提前安装Hadoop
下载spark并在虚拟机解压,
  • 解压到usr/local
  • 文件夹重命名为 spark
  • 给当前用户这个文件夹的权限
  • 修改spark的配置文件 spark-env.sh[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YqQtOlO5-1603533615805)(en-resource://database/972:0)] 在第一行添加以下配置信息 export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
  • 运行spark自带的示例,验证知否安装成功[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-b6ZCBu3I-1603533615808)(en-resource://database/974:0)] spark安装成功
  • 启动Spark shell bin/spark-shell [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AAT3pbId-1603533615811)(en-resource://database/976:0)] 运行成功
  • 简单shell操作 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OP5A3efm-1603533615814)(en-resource://database/978:0)]
  • 安装Scala [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tm3OvB6b-1603533615816)(en-resource://database/980:0)]
安装hive
  • 下载压缩包并在虚拟机中解压 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5OytDidl-1603533615817)(en-resource://database/982:0)]
  • 重命名并修改文件权限 chown -R hadoop hive
  • 配置环境变量 在.bashrc中添加
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export HADOOP_HOME=/usr/local/hadoop
  • 修改hive中的配置文件 将hive-default.xml.template重命名为hive-default.xml;然后,使用vim编辑器新建一个配置文件hive-site.xml 在hive-site.xml中添加以下信息
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
    <description>username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
    <description>password to use against metastore database</description>
  </property>
</configuration>
  • 安装并配置Mysql。下载Mysql jdbc包并把里面的jar包放到hive的lib中
  • 启动Mysql服务,并登录shell界面 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-B9UKhFAl-1603533615818)(en-resource://database/984:0)]
  • 配置mysql允许hive接入 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-h75in4A0-1603533615819)(en-resource://database/986:0)]
  • 启动hive
  • 启动的时候遇到两个问题 1.一是一大堆报错然后中间有 java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument, 这是因为hive内依赖的guava.jar和hadoop内的版本不一致造成的。
  1. 关于hive异常:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStor,这是没有初始化数据库导致,执行名称初始化数据库即可。 schematool -dbType mysql -initSchema
  • 解决这两个问题后就可以启动hive然后执行HiveQL操作 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LwmTCiVf-1603533615819)(en-resource://database/988:0)]

YX笔记链接(有图)

https://app.yinxiang.com/shard/s22/nl/23324337/e6319147-4c70-46dd-8ea9-2ffe9d3f4ea2

  • 阿里云国际版折扣https://www.yundadi.com

  • 阿里云国际,腾讯云国际,低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号:monov8 飞机:@monov6
    标签: Hadoop