从0开始搭建一个单机版的hadoop hadoop分布式文件系统

依赖环境
首先需要java支持
这里下载1.8版本的jdk
地址:https://blog.csdn.net/qq_2118...
下载完解压，并且在环境变量里声明JAVA_HOME

JAVA_HOME=/usr/local/java/jdk1.8.0_161i PATH=$PATH:$HOME/bin:$JAVA_HOME/bin: export JAVA_HOME export PATH

保存后使用 source 命令使环境变量生效
下载hadoop文件
https://mirrors.cnnic.cn/apac...
这里选择2.10版本
同java程序一样解压到想放置的目录
【从0开始搭建一个单机版的hadoop】执行 XXX(这里是解压完的目录地址)/bin/hadoop version
能出现版本号说明解压正确了
进行单机版本的配置
1./etc/hadoop下，需要修改2个配置文件core-site.xml和hdfs-site.xml。
这个是core-site.xml

hadoop.tmp.dir /usr/local/hadoop/tmp Abase for other temporary directories. fs.defaultFS hdfs://localhost:9000

这个是hdfs-site.xml

dfs.replication 1 dfs.namenode.name.dir /usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir /usr/local/hadoop/tmp/dfs/data

注:dfs.replication就是指备份的份数；dfs.namenode.name.dir和dfs.datanode.data.dir分别指名称节点和数据节点存储路径
2.执行初始化
回到Hadoop主目录，执行 ./bin/hdfs namenode -format
初始化结束最后这样证明成功了

18/08/20 11:07:16 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0 18/08/20 11:07:16 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at phenix/127.0.1.1 ************************************************************/

3.手动添加JAVA_HOME
在 XXX/etc/hadoop/hadoop-env.sh 这个文件里配置JAVA_HOME路径

export JAVA_HOME=/usr/local/java/jdk1.8.0_161

4.开启NameNode和DataNode守护进程:

执行./sbin/start-dfs.sh

5.开启yarn资源管理器：

执行./sbin/start-yarn.sh

最后执行 jps
有以下6个后台程序就证明启动成功

[root@VM-0-16-centos hadoop-2.10.1]# jps 14880 NameNode 15220 SecondaryNameNode 15384 ResourceManager 15690 NodeManager 20814 Jps 15038 DataNode

将hadoop配置进配置文件
这样就能直接使用 hadoop 命令了

JAVA_HOME=/usr/local/java/jdk1.8.0_161i export HADOOP_HOME=/usr/local/hadoop/hadoop-2.10.1 PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH export JAVA_HOME export PATH

WebUi