大数据Hadoop-Spark集群部署知识总结 一、启动/关闭 hadoop
myhadoop.sh start/stop
分步启动：
【大数据Hadoop-Spark集群部署知识总结（一）】第一步：在hadoop102主机上 sbin/start-dfs.sh
第二步：在hadoop103主机上 sbin/start-yarn.sh
分步关闭：
第一步：在hadoop103主机上 sbin/stop-yarn.sh
第二步：在hadoop102主机上 sbin/stop-dfs.sh
myhadoop.sh脚本文件内容

#!/bin/bashif [ $# -lt 1 ] then echo "No Args Input..." exit ; ficase $1 in "start") echo " =================== 启动 hadoop集群 ==================="echo " --------------- 启动 hdfs ---------------" ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh" echo " --------------- 启动 yarn ---------------" ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh" echo " --------------- 启动 historyserver ---------------" ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver" ; ; "stop") echo " =================== 关闭 hadoop集群 ==================="echo " --------------- 关闭 historyserver ---------------" ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver" echo " --------------- 关闭 yarn ---------------" ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh" echo " --------------- 关闭 hdfs ---------------" ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh" ; ; *) echo "Input Args Error..." ; ; esac

二、启动/关闭 zookeeper
myzk.sh start/stop
分步启动/关闭：
bin/zkServer.sh start
bin/zkServer.sh stop
myzk.sh脚本文件内容

for host in hadoop102 hadoop103 hadoop104 do case $1 in "start") ssh $host "source /etc/profile; /opt/module/zookeeper-3.5.7/bin/zkServer.sh $1" echo "$host zk is running..." echo "-----------------------------" ; ; "stop") ssh $host "source /etc/profile; /opt/module/zookeeper-3.5.7/bin/zkServer.sh $1" echo "$host zk is stopping..." echo "-----------------------------" ; ; *) echo '输入有误！' ; ; esac done

三、启动Hbase
bin/hbase-daemon.sh start master
bin/hbase-daemon.sh start regionserver
bin/hbase-daemon.sh stop master
bin/hbase-daemon.sh stop regionserver
bin/start-hbase.sh
bin/stop-hbase.sh
四、常见端口号总结
50070：HDFSwebUI的端口号
8485:journalnode默认的端口号
9000：非高可用访问数rpc端口
8020：高可用访问数据rpc
8088：yarn的webUI的端口号
8080：master的webUI，Tomcat的端口号
7077：spark基于standalone的提交任务的端口号
8081：worker的webUI的端口号
18080：historyServer的webUI的端口号
4040：application的webUI的端口号
2181：zookeeper的rpc端口号
9083：hive的metastore的端口号
60010：Hbase的webUI的端口号
6379：Redis的端口号
8087：sparkwebUI的端口号 sbin/start-master.sh 文件可以修改端口号，默认是8080，我改为8081
9092：kafka broker的端口
五、启动Hive

1. 启动metastore hive --service metastore
2. 启动hiveserver2 bin/hive --service hiveserver2
3. 启动hive (/opt/module/hive)：bin/hive

hive建表：

create table test1 (InvoiceNo String, StockCode String, Description String, Quantity String, InvoiceDate String, UnitPrice String, CustomerID String, Country String) ROW format delimited fields terminated by ',' STORED AS TEXTFILE;

导入数据：

load data local inpath '/opt/module/data/test.csv' into table test1;

sqoop导出到mysql：

bin/sqoop export \ --connect jdbc:mysql://hadoop102:3306/company \ --username root \ --password 000429 \ --table sale \ --num-mappers 1 \ --export-dir /user/hive/warehouse/sale \ --input-fields-terminated-by ","

sqoop导入到hive：

bin/sqoop import \ > --connect jdbc:mysql://hadoop102:3306/company \ > --username root \ > --password 123456 \ > --table staff \ > --num-mappers 1 \ > --hive-impo > --fields-terminated-by "\t" \ > --hive-overwrite \ > --hive-table数据库名.staff_hive

sql建表：

USE `company`; CREATE TABLE `sale1` ( `day_id` VARCHAR(50) COLLATE utf8_bin DEFAULT NULL, `sale_nbr` VARCHAR(50) COLLATE utf8_bin DEFAULT NULL, `cnt` VARCHAR(50) COLLATE utf8_bin DEFAULT NULL, `round` VARCHAR(50) COLLATE utf8_bin DEFAULT NULL ) ENGINE=INNODB DEFAULT CHARSET=utf8 COLLATE=utf8_bin; CREATE TABLE `sale2` ( `day_id` varchar(50) COLLATE utf8_bin DEFAULT NULL, `sale_nbr` varchar(50) COLLATE utf8_bin DEFAULT NULL, `cnt` varchar(50) COLLATE utf8_bin DEFAULT NULL, `round` varchar(50) COLLATE utf8_bin DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

六、Spark

1. 安装Spark后配置 classpath

$ cd /usr/local/spark $ cp ./conf/spark-env.sh.template ./conf/spark-env.sh#拷贝配置文件

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath) 这个路径是hadoop的安装路径

2. local模式启动spark： ./bin/spark-shell

文章图片

3. 安装sbt
   vim ./sbt
   启动脚本文件内容如下：
   

   #!/bin/bash SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M" java $SBT_OPTS -jar `dirname $0`/sbt-launch.jar "$@"

   
   增加可执行权限命令： chmod u+x ./sbt
   
4. simple.sbt文件内容（注意版本号和名字）
   

name := "Simple Project" version := "1.0" scalaVersion := "2.11.8" libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"

七、配置Spark集群

1. 主机环境变量

vim ~/.bashrcexport SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin$ source ~/.bashrc

2. 从机环境变量

$ cd /usr/local/spark/ $ cp ./conf/slaves.template ./conf/slaves把默认内容localhost替换成如下内容： hadoop103 hadoop104

3. 配置spark-env.sh

• 注意SPARK_MASTER_IP 要填自己的主机IP地址
• SPARK_DIST_CLASSPATH和HADOOP_CONF_DIR 都是主机的hadoop路径

$ cp ./conf/spark-env.sh.template ./conf/spark-env.shexport SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath) export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export SPARK_MASTER_IP=192.168.1.104

4. 分发到从机（待分发的路径最好已经建立好且是空的）

cd /usr/local/ tar -zcf ~/spark.master.tar.gz ./spark cd ~ scp ./spark.master.tar.gz hadoop103:/home/hadoop scp ./spark.master.tar.gz hadoop104:/home/hadoop

在从机上进行如下操作：

sudo rm -rf /usr/local/spark/ sudo tar -zxf spark.master.tar.gz -C /usr/local sudo chown -R 用户名 /usr/local/spark

八、测试运行

1. 首先启动hadoop集群
2. 启动spark的主机节点

$ cd /usr/local/spark/ $ sbin/start-master.sh

3. 启动spark的从机节点

$ sbin/start-slaves.sh

打开浏览器输入 http://[主机名]:8087

文章图片

注意端口号冲突问题：
可以在启动的脚本文件里修改WEBUI端口号：也就是在sbin/start-master.sh中修改端口号！
九、关闭退出

• 关闭spark主机

sbin/stop-master.sh

• 关闭Worker从机

sbin/stop-slaves.sh

• 关闭hadoop集群

补充命令：

• cp命令：cp 源文件 目标文件（夹）

负责把一个源文件复制到目标文件（夹）下。如下图所示，复制到文件夹下，则文件名保持不变，复制到文件中，则文件名变更。如果目标文件已经存在或目标文件夹中含有同名文件，则复制之后目标文件或目标文件夹中的同名文件会被覆盖。

• cp -r 命令 :复制源文件夹到目标文件夹下

命令格式为：cp -r 源文件夹 目标文件夹

• mv 命令：用来移动文件或者将文件改名
  格式：mv [选项] 源文件或目录 目标文件或目录
  选项：
  -b 若需覆盖文件，则在覆盖文件前先进行备份
  -f 强制覆盖，若目标文件已存在同名文件，使用该参数时则直接覆盖而不询问
  -i 若目标文件已存在同名文件，则提示询问是否覆盖
  -u 若目标文件已存在需移动的同名文件，且源文件比较新，才会更新文件
  -t 指定mv的目标目录，改选项使用于移动多个源文件到一个目录的情况，此时目标文件在前，源文件在后
  
• chmod
  sudo chmod -（代表类型）×××（所有者）×××（组用户）×××（其他用户）
  0 [000] 无任何权限
  4 [100] 只读权限
  6 [110] 读写权限
  7 [111] 读写执行权限
  sudo chmod 600 ××× （只有所有者有读和写的权限）
  sudo chmod 644 ××× （所有者有读和写的权限，组用户只有读的权限）
  sudo chmod 700 ××× （只有所有者有读和写以及执行的权限）
  sudo chmod 666 ××× （每个人都有读和写的权限）
  sudo chmod 777 ××× （每个人都有读和写以及执行的权限）
  

• chown (选项)(参数)
  选项 描述
  -c或——changes 效果类似“-v”参数，但仅回报更改的部分；
  -f或–quite或——silent 不显示错误信息；
  -h或–no-dereference 只对符号连接的文件作修改，而不更改其他任何相关文件；
  -R或——recursive 递归处理，将指定目录下的所有文件及子目录一并处理；
  -v或——version 显示指令执行过程；
  –dereference 效果和“-h”参数相同；
  –help 在线帮助；
  –reference=<参考文件或目录> 把指定文件或目录的拥有者与所属群组全部设成和参考文件或目录的拥有者与所属群组相同；
  –version 显示版本信息。
  

当只需要修改所有者时，可使用如下 chown 命令的基本格式：
[root@localhost ~]# chown [-R] 所有者 文件或目录
如果需要同时更改所有者和所属组，chown 命令的基本格式为：
[root@localhost ~]# chown [-R] 所有者:所属组 文件或目录

推荐阅读

• 

  螃蟹蒸久了还能吃吗 螃蟹蒸久了会变黑吗
• 

  特发性震颤有哪些典型的症状表现 特发性震颤有哪些典型的症状
• 

  皇明金冬冠16支热水器换控制器维修报价
• 

  docker|docker cp 拷贝文件 和 进入容器的操作
• 

  大熊猫现在是几级保护动物
• 

  描写雨的三字词语
• 

  空调除臭方法
• 

  螃蟹身上有千毛虫怎样
• 

  打篮球实用技巧 打篮球所有的技巧
• 

  如何看待张艺兴吐槽欧阳娜娜“蚂蚁竞走”？是什么梗？
• 

  持续练习的感悟
• 

  鳝丝油菜粥的做法及功效
• 

  如何将别人说的话不放在心理中 如何将别人说的话不放在心理，如何将别人说的话不放在心理里
• 

  产后怎么恢复肚子，产后妈妈减肥，小仙女分享来临
• 

  全自动洗衣机的使用方法 海尔全自动洗衣机的使用方法
• 

  自我感赏
• 

  sap 获利能力分析报表,请根据东方公司报表进行销售获利能力分析
• 

  亚硝酸盐|隔夜菜真的会致癌吗？常吃隔夜菜，会对身体产生哪些负面影响？
• 

  高德diy地图记录轨迹教程
• 

  mysql开源代码 mysql源码能力

• 分享|分享|一文教你建立数据分析思维
• 云栖号技术分享|数字营销行业大数据平台云原生升级实战
• Docker|Docker容器数据卷、数据卷容器及具名和匿名挂载
• docker|docker 数据卷 mysql_docker容器数据卷
• Docker|Docker第五篇【容器数据卷、匿名和具名挂载、DockerFile】
• Docker学习|Docker 容器数据卷
• docker|docker 容器数据卷+具名挂载匿名挂载
• 从零开始入门|从零开始入门 K8s | 应用存储和持久化数据卷（核心知识）
• Docker|Docker【2】 | 大白话带你快速安装Docker，不懂你捶我
• 【云原生】—— 学习云计算应用开发你需要掌握的五大技能