VMware平台的Ubuntu部署完全分布式Hadoop环境
前言：
此文章是本人初次部署Hadoop的过程记录以及所遇到的问题解决，这篇文章只有实际操作部分，没有理论部分。因本人水平有限，本文难免存在不足的地方，如果您有建议，欢迎留言或私信告知于我，非常感谢。
部分参考网络资料，如有侵权，联系删除。
文章目录
- 前言：
- 环境准备（需提前下载好）：
- 1.安装Ubuntu
- 2.配置hosts网络映射(三个机器均需要)
- 3.Java JDK8 配置(三个机器均需要)
- 4.SSH 配置（三个机器均需要）
- 5.Hadoop安装配置
- 5.1master机器执行部分
- 5.2 slave机器执行部分（slave01和slave02均需要执行一遍）
- 6. Hadoop启动与停止
- 7.部分问题解决：
- 1.多次执行格式化操作`hdfs namenode -format`之后，导致DataNode进程或namenode看不到了。
- 2.IP自动更改
环境准备（需提前下载好）：
1.VMware workstation 17.5，作为虚拟化平台
(官网下载地址：vmware workstation17.5（需登录）)
2.Ubuntu20.04 （18.04，22.04，24.04应该也可以）
（清华源镜像地址：Ubuntu20.04）
3.JDK8(其他版本不适配)
（官网下载链接（需登录）：下载页面（选x64 Compressed Archive））
（清华源的openjdk下载链接: openjdk8）
4.Hadoop-3.3.6
（官网下载链接：Hadoop-3.3.6）
1.安装Ubuntu
（1）点击创建新的虚拟机
（如果没有这一页，可以点击上面的选项卡，再点击转到主页）
（2）点击自定义，下一步
（3）默认即可，点下一步
（4）点稍后安装操作系统，下一步
（5）这里选Linux，版本Ubuntu 64位
（6）点击浏览选择合适的存储位置
（7）处理器数量和内核数量选 1
（8）内存4GB，可根据个人情况调整（如果物理机只有16G，可改为3GB(3072MB)）。
（9）均默认，点下一步
（10）建议磁盘大小30G，避免后续使用时空间不足，可根据个人情况调整
（11）默认，点下一步
（12）点击完成
（13）点编辑虚拟机设置
（14）点击CD/DVD，点击“使用ISO镜像文件”，再点击浏览，找到刚刚下载的Ubuntu20.04镜像
（15）点击Install Ubuntu ，建议使用英文，避免中文报错。
（16）点continue，
这里如果窗口太小，看不到按钮，同时按Alt + F7，然后会出现一个手的标志，可以移动窗口，再点击鼠标左键来固定
（17）点Minimal installation，点continue
（18）默认，点Install Now
（19）点击 continue
（20）默认，点击continue
（21）
Your name 填Hadoop
Your conputer’s name 填master
设置好密码后，点continue
（22）等待安装
（23）安装完成，点击Restart Now
（24）这里直接按回车即可
（25）点击Hadoop，输入密码
注意：Ubuntu安装之后，数字小键盘默认关闭，按键盘上NumLock打开。
（26）进入之后的设置，全部点击右上角的skip和next即可
（27）会有版本更新弹窗，点击Don’t Upgrade,再点击OK
（28）右上角会有一个红色圆圈，点击，再点Show update，然后点击Install Now，之后输入密码，更新即可。
（29）如果窗口太小，按Ctrl+Alt+T打开终端，输入下面两行代码，运行结束之后再重启一下虚拟机。
sudo apt update
sudo apt install open-vm-tools-desktop -y
注：输入 sudo apt update后，如果第（28）的更新未完成的话，会报错，等待更新完成再输入即可
（30）现在第一个虚拟机以及创建完毕。
创建第二个和第三个虚拟机时，只有第（21）不一样，
第二个虚拟机的Your conputer’s name 填slave01
第三个虚拟机的Your conputer’s name 填slave02
2.配置hosts网络映射(三个机器均需要)
（1）输入命令，安装网络工具
注：Ubuntu中，Ctrl + Shift + C 是复制，Ctrl + Shift + V 是粘贴
sudo apt install net-tools
（2）输入命令查看ip地址
ifconfig
图中第三行的192.168.61.142为本机IP，每个人电脑不相同。
（3）在slave01机器和slave02机器执行相同操作，并记下IP。
我的slave01的IP：192.168.61.143
我的slave02的IP：192.168.61.144
（4）三个机器都下载vim，方便后续使用。
sudo apt install vim -y
（5）编辑修改hosts文件，使节点之间通信方便
sudo vim /etc/hosts
进入之后，如下图所示
按键盘“ i ”进入编辑模式（插入模式），然后用上下左右方向键移动光标到第三行，输入刚刚查询到的IP，然后加上机器名（@后面的）
例：【hadoop@master:~$】，中，master是机器名。
编辑好后如图所示（ip地址不相同，根据自己Ubuntu的IP来修改）
编辑好之后，按键盘左上角ESC退出编辑模式，再按Shift + “；”，左下角会出现一个冒号“：”，然后输入“wq”保存并退出文件。
（6）配置好hosts后，使用ping命令来测试是否配置成功，之后在另外两个机器也配置。
ping slave01
ping slave02
出现如图类似之后，即hosts配置成功，按Ctrl + C 终止，
3.Java JDK8 配置(三个机器均需要)
（1）在自己电脑下载好JDK之后，粘贴到虚拟机的Downloads里,鼠标右键，点Paste即可粘贴。
注：打开左边第二个图标，打开之后点Downloads，再粘贴
（也可以复制链接到虚拟机的浏览器，直接在虚拟机下载，省的再复制粘贴）
注：如果出现类似报错，点击Retry再点击Skip。如果不行的话就等待一会再复制粘贴试试。如果还是不行，执行下面的命令之后重启虚拟机。
sudo apt update
sudo apt autoremove open-vm-tools -y
sudo apt install open-vm-tools-desktop -y
（2）执行命令，解压jdk
注：这里jdk-8u441-linux-x64.tar.gz不一定相同，根据个人情况修改，可以输入jdk之后，按Tab键自动补全。
cd /usr/lib
sudo mkdir jvm
cd ~/Downloads //即 cd /home/hadoop/Downloads
sudo tar -zxvf jdk-8u441-linux-x64.tar.gz -C /usr/lib/jvm
（3）查看具体安装的jdk版本号,例如我的是jdk1.8.0_441
cd /usr/lib/jvm
ls
（4）配置java环境变量
sudo vim ~/.bashrc
进入文件后，按上下方向键，翻到最后，插入下面语句
注：第一句的jdk不一定相同，根据第三步查询的来修改。
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_441
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
执行命令：source ~/.bashrc，然后关闭终端，再重新打开，输入java -version，如下图所示即配置成功
（5）在slave01和slave02执行相同的1~4，完成配置
4.SSH 配置（三个机器均需要）
（1）安装ssh
sudo apt install openssh-server -y
（2）测试登录本地，验证是否成功。
ssh localhost
输入之后，会停顿一下，如下图，然后输入yes，之后会让输入本机密码。
成功登录如图
然后输入exit 会出现退出登录信息
（3）前两步骤三个机器均需下载，下载完成之后在进行第四步。
（4）在master节点生成公钥
cd ~/.ssh
rm ./id_rsa* //如果是第一次下载ssh，可以不执行这一句
ssh-keygen -t rsa //输入之后有停顿，全部按回车即可
（5）在本机节点上设置免密登录并测试
cat ./id_rsa.pub >> ./authorized_keys
ssh localhost
会发现，再次执行ssh连接不再需要密码
（6）将公钥传到slave01、slave02（只在master机器上操作）
注：第二个命令中hadoop@slave01需要根据自己Ubuntu的用户名和机器名进行修改，如果你的用户名+机器名是zhangsan@slave01，那么命令中的hadoop@slave01就需要修改为zhangsan@slave01，同理/home/hadoop也一样改为/home/zhangsan，如果与示例相同则不需要更改
cd ~/.ssh
scp ~/.ssh/id_rsa.pub hadoop@slave01:/home/hadoop //将公钥给slave01
scp ~/.ssh/id_rsa.pub hadoop@slave02:/home/hadoop //将公钥给slave02
注：第二个和第三个命令之后需要输入密码，这个密码是登录slave01和slave02机器的密码
（7）在slave节点中将公钥保存（此步骤只在slave01和slave02上操作）
cat ~/id_rsa.pub>>~/.ssh/authorized_keys
rm ~/id_rsa.pub
（8）验证免密连接（只在master机器上执行）
ssh slave01
注：如果你的用户名和master机器的用户名不一样，那这里需要输入完整的用户名+机器名
例 : slave节点用户名和机器名是zhangsan@slave01，那你这里需要输入ssh zhangsan@slave01
这一次不需要密码就能连接上，并且会看到用户名和机器名由hadoop@master变成hadoop@slave01。
然后输入exit退出连接，再测试slave02
ssh slave02
成功连接后，输入exit退出连接
5.Hadoop安装配置
5.1master机器执行部分
（1）在自己电脑下载好Hadoop文件之后，粘贴到虚拟机的Downloads里,鼠标右键，点Paste即可粘贴。
注：打开左边第二个图标，打开之后点Downloads，再粘贴
（如果下载速度过慢，可以搜索“磁力下载软件”，找个顺眼的安装，这里不再推荐，将下载链接粘贴到磁力工具中再下载，速度会快点）
（2）解压
注：我下载的是Hadoop-3.3.6的版本，根据自己下载的版本修改~/Downloads/hadoop-3.3.6.tar.gz这一部分，
sudo tar -zxvf ~/Downloads/hadoop-3.3.6.tar.gz -C /usr/local
cd /usr/local
sudo mv ./hadoop-3.3.6 ./hadoop //如果你的不是3.3.6，根据实际修改
sudo chown -R hadoop ./hadoop
（3）配置环境变量
sudo vim ~/.bashrc
进入文件后，按上下方向键，翻到最后，插入下面语句
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lin/native
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
执行命令：source ~/.bashrc，然后关闭终端，再重新打开一个终端，输入hadoop version，如下图即配置成功
（4）文件配置
文件1
cd /usr/local/hadoop/etc/hadoop
vim core-site.xml
打开文件后，翻到最后一行，先将文件自带的删除，（
再将下面内容粘贴到文件中
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abasefor other temporary directories.</description>
</property>
<property>
<name>hadoop.proxyuser.spark.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.spark.groups</name>
<value>*</value>
</property>
</configuration>
文件2：
vim hdfs-site.xml
操作跟上面一样，翻到文件最下面后，先将文件自带的删除，再将内容粘贴到文件上
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
文件3：
vim yarn-site.xml
操作同上，先将文件自带的删除，再将下面代码粘贴到文件里
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
文件4：
vim mapred-site.xml
//如果你打开之后是空白文件，先退出文件，再执行下面的命令；如果打开之后有内容，不用执行
cp mapred-site.xml.template mapred-site.xml
操作同上，先将文件自带的删除，再将下面代码粘贴到文件里
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
文件5：
sudo vim hadoop-env.sh
操作同上，这个不用删，直接将下面代码粘贴到文件最后，可以按方向键上面的PgDn/PageDown按键加快翻动
注：jdk版本根据自己下载的更改，此处与刚刚Java环境变量配置的路径一样。
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_441
文件6：
sudo vim workers
打开之后默认是localhost,删除，然后将下面内容粘贴到里面。
hadoop@slave01
hadoop@slave02
注：此处是两个slave节点的完整用户名和机器名，如果你的用户名或机器名与示例不同，需要修改。
（5）压缩文件
cd /usr/local
sudo rm -rf ./hadoop/tmp
sudo rm -rf ./hadoop/logs
tar -zcvf ~/hadoop.master.tar.gz ./hadoop
(6)将压缩好的文件发送到slave机器上
scp ~/hadoop.master.tar.gz hadoop@slave01:/home/hadoop
scp ~/hadoop.master.tar.gz hadoop@slave02:/home/hadoop
注：此处hadoop@slave01是slave01虚拟机的完整用户名和机器名，如果与示例不同，根据自己的用户名和机器名修改，/home/hadoop的hadoop同理。
5.2 slave机器执行部分（slave01和slave02均需要执行一遍）
（1）在slave节点上解压hadoop.master.tar.gz文件，并给予授权
sudo rm -rf /usr/local/hadoop
sudo tar -zxvf ~/hadoop.master.tar.gz -C /usr/local
sudo chown -R hadoop /usr/local/hadoop
注：-R 后面的hadoop是slave节点的用户名，如果与示例不同，根据自己的情况修改。
/usr/local/hadoop这部分是固定的，不需要修改。
6. Hadoop启动与停止
（1）格式化NameNode（只在master上操作）
hdfs namenode -format
注：只执行一次就行，之后再使用Hadoop，不需要再格式化！！！
运行完结果类似下图
（2）启动HDFS（只在master节点上操作）
start-dfs.sh
然后在master，slave01，slave02上分别输入jps，结果如下图
master节点
slave01节点
slave02节点
（3）启动YARN（只在master节点上操作）
start-yarn.sh
然后在master，slave01，slave02上分别输入jps，结果如下图
master节点
slave01节点
salve02节点
（4）网页访问（在master机器上操作）
在浏览器中打开http://master:8088/cluster/nodes，节点情况如下图
如果能正常打开网页，但没有节点，先stop停止进程，
执行sudo vim /etc/hosts，在第二行加个#和空格，如图，
之后再次运行进程就好了
（5）停止HDFS和YARN
stop-yarn.sh
stop-dfs.sh
也可以直接执行stop-all.sh全部关闭。
附录：
有小伙伴两小时急速完成，期待有新的记录产生
有小伙伴1小时17分钟急速完成，期待有新的记录产生
7.部分问题解决：
1.多次执行格式化操作hdfs namenode -format之后，导致DataNode进程或namenode看不到了。
解决：这里给出一个适用于重启运行的方式：删除所有节点的/usr/local/hadoop/dfs中的内容，一般是name和data两个文件夹，因为这里记录了上次运行的集群ID等信息可能会导致冲突（当然这里只是部署阶段，如果运行了很久，重要的数据需要小心）。然后清一下logs数据，方便再运行查看错误问题。最后在master节点上执行hadoop namenode -format，就可以再启动Hadoop了。
举个不恰当的例子，就好像第一次格式化之后，dfs的实际位置id刷新在麻辣烫，第二次格式化之后，dfs实际位置刷新到火锅，但是文件仍然保存着第一次麻辣烫的位置，实际位置与文件保存的位置不一样，命令运行的时候部分信息就乱跑了，导致datanode与namenode无法加载出来。
注：在执行之前，先stop-all.sh，将进程都停止了
（1）以下是直接操作的代码：(master和slave上都要执行)
cd /usr/local/hadoop
rm -rf /usr/local/hadoop/dfs
rm -rf /usr/local/hadoop/tmp
rm -rf /usr/local/hadoop/logs
（2）把第一步的代码，在master和slave机器上都执行之后，再进行下一步
（3）在master机器上执行下面代码
hdfs namenode -format //格式化
（4）启动HDFS（只在master节点上操作）
start-dfs.sh
（5）启动YARN（只在master节点上操作）
start-yarn.sh
（6）之后jps与查看网页步骤同上
2.IP自动更改
部分人的虚拟机，在再次打开后，会发现ip与上一次的ip不一样了，可以修改hosts（参考第二大步），或者参考网上设置静态IP。
