Hadoop 集群搭建 (一):节点配置

虚拟机节点配置

arian-darvishi-1210156-unsplash

Hello, BigData

集群环境

系统:

CentOS-7-x86_64-Minimal-1810.iso

  • Master 192.168.69.101
  • Slave1 192.168.69.102
  • Slave2 192.168.69.103

修改 IP 地址:

  • vim /etc/sysconfig/network-scripts/ifcfg-ens33
Master
# 修改如下信息
IPADDR=192.168.69.101
NETMASK=255.255.255.0
GATEWAY=192.168.69.2
DNS1=119.29.29.29
仅在 Slave1
# 修改如下信息
IPADDR=192.168.69.102
NETMASK=255.255.255.0
GATEWAY=192.168.69.2
DNS1=119.29.29.29
仅在 Slave2
# 修改如下信息
IPADDR=192.168.69.103
NETMASK=255.255.255.0
GATEWAY=192.168.69.2
DNS1=119.29.29.29

关闭系统防火墙及内核防火墙

永久关闭内核防火墙:

  • yum -y install vim
  • vim /etc/selinux/config
# 修改如下信息
SELINUX=disabled

停止 firewall:

  • systemctl stop firewalld.service

禁止 firewall 开机启动:

  • systemctl disable firewalld.service

修改主机文件

修改主机名:

仅在 Master
  • hostnamectl set-hostname master
仅在 Slave1
  • hostnamectl set-hostname slave1
仅在 Slave2
  • hostnamectl set-hostname slave2

修改 hosts 文件:

  • vim /etc/hosts
# 添加如下信息
192.168.69.101 master
192.168.69.102 slave1
192.168.69.103 slave2
# 本地(可不加)
192.168.69.1 client

SSH 互信配置

生成密钥对(公钥和私钥)-- 三次回车生成密钥:

  • ssh-keygen -t rsa -P ''

追加:

  • cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys
  • chmod g-w ~
  • chmod 700 ~/.ssh
  • chmod 600 ~/.ssh/authorized_keys

追加密钥到 Master:

  • ssh [主机名] cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

复制密钥到从节点:

  • scp ~/.ssh/authorized_keys [主机名]:~/.ssh/authorized_keys

设置 vmware 共享文件夹

cd /mnt/hgfs/ 发现没有文件,解决如下

安装工具:

  • yum -y install open-vm-tools gcc gcc-c++ automake make kernel-devel git

终端中输入如下命令:

  • git clone https://github.com/rasa/vmware-tools-patches.git
  • cd vmware-tools-patches
  • `./patched-open-vm-tools.sh

查看分享目录:

  • vmware-hgfsclient
  • su

临时挂载分享目录:

  • mount.vmhgfs .host:/ /mnt/hgfs/

永久挂载分享目录:

  • vmware-config-tools.pl -d --clobber-kernel-modules=vmhgfs

#使用如下方法挂载有的会出错:

  • vim /etc/fstab
# 末尾添加如下信息
.host:/ /mnt/hgfs fuse.vmhgfs-fuse allow_other 0 0

删除工具包

  • cd ~
  • rm -rf ~/vmware-tools-patches
  • reboot

修改 src 权限

  • cd /usr/local
  • sudo chown -R alessa0:alessa0 src
  • sudo chown -R alessa0:alessa0 bin

更改源为阿里云:

  • cd /etc/yum.repos.d/
  • mv CentOS-Base.repo CentOS-Base.repo.bak
  • wget http://mirrors.aliyun.com/repo/Centos-7.repo
  • wget http://mirrors.163.com/.help/CentOS7-Base-163.repo
  • yum clean all
  • yum makecache

安装网络工具包和基础工具包:

  • sudo yum -y install net-tools checkpolicy gcc dkms foomatic openssh-server bash-completion psmisc

Hadoop 集群组件列表

组件 master slave1 slave2
jdk1.8.0_212
miniconda3
scala-2.11.12
hadoop-2.8.5
redis-5.0.4
zookeeper-3.4.14
spark-2.3.3-bin-hadoop2.7
mariadb/mariadb-server
apache-hive-2.3.4-bin
hbase-1.3.3
thrift-0.12.0
apache-flume-1.9.0-bin
kafka_2.11-2.2.0
apache-storm-1.2.2
Storm-on-Yarn
flink-1.8.0