大数据开发之Hive应用分析

Hive架构
1.用户接口：Client
CLI(hive shell) JDBC(java访问hive) WEBUI（浏览器访问hive）
2.元数据（Metastore）-数据库
元数据包括：表名称、表所属的数据库、表的拥有者、列/分区字段名、表的类型（外部/内部）、表的数据所在的目录
默认存储在自带的derby的数据库中，推荐使用Mysql来存储元数据
3.hadoop
hive使用HDFS进行数据的存储，使用MR进行数据的计算
4.驱动器：driver
包含：解析器 -> 优化器 -> 编译器 -> 执行器

Hive的优点和使用场景
1.简单易用（操作接口采用类SQL语法，提供快速开发的能力）
2.避免我们去写MR，减少开发人员的学习成本
3.统一的元数据管理，可与impala、spark等共享数据
4.易扩展
5.数据的离线处理：比如日志分析，海量结构化数据离线分析
6.Hive的执行延迟比较高，因此Hive常用于数据离线分析，适合实时性要求不高的场景
7.Hive优势在于处理大数据，对于处理小数据没有优势，因为hive的执行延迟性很高。
Hive常用的命令
1.show databases;//查看数据库
2.create database db_hive;//创建数据库
3.drop database db_hive;//删除数据库（数据库内无表）
4.use db_hive;//使用数据库
5.创建表：
CREATE TABLE u_data (
userid INT,
movieid INT,
rating STRING,
unixtime STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;//textfile文本，以“，”为分隔符
6.load data local inpath '/opt/datas/ratings·txt' into table u_data;//加载本地数据到表中
7.select * from u_data;//查询表
8.select userid from u_data;//字段查询
9.select count(1) u_count from u_data;//统计行数，进行mr计算
10.desc u_data;//描述表信息
11.desc extended u_data;//描述表具体信息（无序）
12.desc formatted u_data;//描述具体信息（有序）
13.show functions;//查看hive自带所有函数
14.desc function upper;//查看upper函数的说明
15.desc function extended uppper;//查看upper函数的具体说明
16.select userid,upper(username) uppper_name from student;//利用upper函数进行大写转换
Hive常用的配置属性
1.Hive数据仓库位置配置：hive-default.xml
hive.metastore.warehouse.dir
/user/hive/warehouse //数仓地址
location of default database for the warehouse
//赋权命令
$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/hive/warehouse
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse
2.Hive运行日志的配置：hive-log4j.properties
hive.log.dir=/opt/modules/hive-1.1.0-cdh5.5.0/logs //日志存放目录
hive.log.file=hive.log
3.Hive运行日志的级别：hive-log4j.properties
hive.root.logger=info,DRFA //可改为（DEBUG,DRFA）
4.在cli命令行上显示当前数据库名称，以及查询表的表头信息：hive-site.xml
hive.cli.print.header
true //打开查询表会显示列名

hive.cli.print.current.db
true //打开客户端会显示所在数据库
5.在启动hive时设置配属属性项信息
bin/hive --hiveconf
eg:
bin/hvie --hiveconf hive.cli.print.header=false //将表头关闭
要注意此种方式的设置，仅仅在当前会话session中有效，退出则失效。
6.查看hive当前所有的配置信息
set;
set hive.cli.print.header;
set hive.cli.print.header=false; //将表头关闭
修改配置信息优先级：
set -> --hiveconf -> hive-site.xml -> hive-defualt.xml
Hive shell常用的操作
bin/hive -help
usage: hive
-d,--define Variable subsitution to apply to hive
commands. e.g. -d A=B or --define A=B
--database Specify the database to use
-e SQL from command line
-f SQL from files
-H,--help Print help information
--hiveconf Use value for given property
--hivevar Variable subsitution to apply to hive
commands. e.g. --hivevar A=B
-i Initialization SQL file
-S,--silent Silent mode in interactive shell
-v,--verbose Verbose mode (echo executed SQL to the
console)
1. bin/hive -e "select * from db_hive.student"
bin/hive -e "select count(1) from db_hive.student"
可直接执行查询语句
2.bin/hive -f /opt/jars/stu.sql
可直接执行sql文件进行查询交互
3·save result
bin/hive -f stu.sql > /opt/datas/student.txt
将查询结果储存到本地
Hive中数据库的操作方式
CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name
[COMMENT database_comment]
[LOCATION hdfs_path]
[WITH DBPROPERTIES (property_name=property_value, ...)];
1.create database db_hive;
CREATE DATABASE IF NOT EXISTS db_hive --- 标准方式
CREATE DATABASE IF NOT EXISTS db_kfk LOCATION '/user/kfk/kfkwarehouse';
2.drop database
DROP (DATABASE|SCHEMA) [IF EXISTS] database_name [RESTRICT|CASCADE];
drop database IF EXISTS db_kfk;--- 标准方式
drop database IF EXISTS db_hive cascade; --- 当数据库里有表时可直接删除
3.use database
USE database_name;
Hive中数据库表的创建方式（三种）
第一种：创建Textfile类型以“,”为分隔符的表
CREATE TABLE IF NOT EXISTS db_name.table_name
(col_name data_type )
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;
eg:
CREATE TABLE student (
userid string,
username string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;
第二种：复制已有表或视图的结构
CREATE TABLE IF NOT EXISTS db_name.table_name
LIKE existing_table_or_view_name
eg:
CREATE TABLE IF NOT EXISTS db_hive.stu
LIKE db_hive.student
第三种：复制已有表的结构和数据
CREATE TABLE IF NOT EXISTS db_name.table_name
AS select * from table
eg：
CREATE TABLE IF NOT EXISTS db_hive.stu
AS select * from db_hive.student