Hadoop 集群搭建(一):节点配置

虚拟机节点配置


arian-darvishi-1210156-unsplash

Hello, BigData

集群环境

系统:

CentOS-7-x86_64-Minimal-1810.iso

  • Master 192.168.69.101
  • Slave1 192.168.69.102
  • Slave2 192.168.69.103

修改IP地址:

  • vim /etc/sysconfig/network-scripts/ifcfg-ens33
Master
1
2
3
4
5
# 修改如下信息
IPADDR=192.168.69.101
NETMASK=255.255.255.0
GATEWAY=192.168.69.2
DNS1=119.29.29.29
仅在Slave1
1
2
3
4
5
# 修改如下信息
IPADDR=192.168.69.102
NETMASK=255.255.255.0
GATEWAY=192.168.69.2
DNS1=119.29.29.29
仅在Slave2
1
2
3
4
5
# 修改如下信息
IPADDR=192.168.69.103
NETMASK=255.255.255.0
GATEWAY=192.168.69.2
DNS1=119.29.29.29

关闭系统防火墙及内核防火墙

永久关闭内核防火墙:

  • yum -y install vim
  • vim /etc/selinux/config
1
2
# 修改如下信息
SELINUX=disabled

停止firewall:

  • systemctl stop firewalld.service

禁止firewall开机启动:

  • systemctl disable firewalld.service

修改主机文件

修改主机名:

仅在Master
  • hostnamectl set-hostname master
仅在Slave1
  • hostnamectl set-hostname slave1
仅在Slave2
  • hostnamectl set-hostname slave2

修改hosts文件:

  • vim /etc/hosts
1
2
3
4
5
6
# 添加如下信息
192.168.69.101 master
192.168.69.102 slave1
192.168.69.103 slave2
# 本地(可不加)
192.168.69.1 client

SSH互信配置

生成密钥对(公钥和私钥)—三次回车生成密钥:

  • ssh-keygen -t rsa -P ‘’

追加:

  • cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys
  • chmod g-w ~
  • chmod 700 ~/.ssh
  • chmod 600 ~/.ssh/authorized_keys

追加密钥到Master:

  • ssh [ 主机名 ] cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

复制密钥到从节点:

  • scp ~/.ssh/authorized_keys [ 主机名 ]:~/.ssh/authorized_keys

设置vmware共享文件夹

cd /mnt/hgfs/ 发现没有文件,解决如下

安装工具:

  • yum -y install open-vm-tools gcc gcc-c++ automake make kernel-devel git

终端中输入如下命令:

查看分享目录:

  • vmware-hgfsclient
  • su

临时挂载分享目录:

  • mount.vmhgfs .host:/ /mnt/hgfs/

永久挂载分享目录:

  • vmware-config-tools.pl -d —clobber-kernel-modules=vmhgfs

#使用如下方法挂载有的会出错:

  • vim /etc/fstab
1
2
# 末尾添加如下信息
.host:/ /mnt/hgfs fuse.vmhgfs-fuse allow_other 0 0

删除工具包

  • cd ~
  • rm -rf ~/vmware-tools-patches
  • reboot

修改src权限

  • cd /usr/local
  • sudo chown -R alessa0:alessa0 src
  • sudo chown -R alessa0:alessa0 bin

更改源为阿里云:

安装网络工具包和基础工具包:

  • sudo yum -y install net-tools checkpolicy gcc dkms foomatic openssh-server bash-completion psmisc

Hadoop集群组件列表

组件masterslave1slave2
jdk1.8.0_212
miniconda3
scala-2.11.12
hadoop-2.8.5
redis-5.0.4
zookeeper-3.4.14
spark-2.3.3-bin-hadoop2.7
mariadb/mariadb-server
apache-hive-2.3.4-bin
hbase-1.3.3
thrift-0.12.0
apache-flume-1.9.0-bin
kafka_2.11-2.2.0
apache-storm-1.2.2
Storm-on-Yarn
flink-1.8.0



Alessa0 wechat
(> <)  中国儿童少年基金会  &  Alessa0.cn  谢谢您的帮助!
--------- 本文结束 感谢您的阅读 ---------

本文标题:Hadoop 集群搭建(一):节点配置

文章作者:Alessa0

发布时间:2019年04月24日 - 17:04

最后更新:2019年08月05日 - 15:08

原始链接:https://alessa0.cn/posts/b7d573f0/

版权声明: CC BY-NC-ND 4.0 转载请保留原文链接及作者。

0%