hadoop集群和单机版配置

2019-07-16

初学hadoop基本集群和单机版的配置

hadoop集群的配置
hadoop单机版的配置
hadoop的Linux版本下编写mapreduce程序

hadoop 集群的配置

初始必备条件

1、虚拟机或者服务器（我以虚拟机为例）
2、centos7
3、安装javaJDK版本至少1.8
4、官网下载hadoop压缩包到虚拟机中

开始配置过程

开启虚拟机，创建hadoop用户,在root态下进行
adduser hadoop
设置密码
passwd hadoop
输入免密
在用户目录下进行免密登录设置
cd home/hadoop/
ssh-keygen -t rsa
以上的操作在每一台虚拟机上执行
进入master
设置hosts
查看自己的ip
ip addr
在所有主机中
master IPaddr
slave1 IPaddr
设置hostname
vim etc/sysconfig/network
NETWORKING = YES
HOSTNAME = MASTER
确认生效
hostname master
确认
hostname
返回master则正确
让永久生效
vim etc/hostname
将原本的hostname删除
写上 master
在其余主机上进行类似的操作
以上是开胃准备，接下来进入网络等配置
1、ip addr ——查看IP地址，注意，在每一台主机上观察，记录下所有的ip
2、systemctl stop firewalld.service，关掉防火墙，也是在每一台主机进行
3、在master上：
cd home/hadoop/
cat .ssh/id_rsa.pub 》 home/hadoop/id_master
将master上的公钥传输给所有的slaves节点上
scp ./id_master hadoop ait SERVER: 用户目录
4、进入slaves
cat id_master 》 .ssh/authorized_keys
cp .ssh/id_rsa.pub ./id_slavesX
scp .ssh/id_rsa.pub hadoop 艾特SERVER: 用户不露
5、进入master
将所有的id_slaveX 合并到一起
cat id_slavesX 》 .ssh/authorized_keys
6、验证，如果 ssh slave1 等操作都不要输入密码则成功
7、开始配置hadoop相关文件
在 homehadoop 下解压hadoop文件
tar -zxvf hadoop-3.2.0.tar.gz
配置workers文件

配置hadoop环境变量

配置核心zujian

配置文件系统核心组件

配置yarn组件

配置Mapreduce计算框架

将hadoop的配置复制到slave中
scp -r home/hadoop/hadoop-3.2.0 hadoop 艾特SERVER
扫尾工作
配置环境变量
在etc/profile
写上环境变量，配置完要让它生效！！！

在home/hadoop/ 目录下创建hadoopdata文件
mkdir home/hadoop/hadoopdata
进行格式化工作
hdfs namenode -format
进入目录开启文件系统
cd home/hadoop/hadoop-3.2.0/sbin
开启
start-all.sh
关闭
stop-all.sh
查看端口情况
jps
jps看不到datanode启动
说明你多次格式化，将hadoopdata重建
再进行格式化

hadoop的单机配置

单机配置就只有一个不同
不用配置免密登录
在本机创建hadoop用户，并以hadoop身份进行一下操作
.ssh-keygen -t rsa
cat .ssh/id_rsa.pub 》 .ssh/authorized_keys
只需要更改一个文件hdfs-site.xml 文件

不足

这样集群配置在虚拟机上显得鸡肋，可以通过 docker 在一台虚拟机达到多台的效果

参考书籍：hadoop大数据实战权威指南黄冬军版