大数据运维：分布式集群基础配置

一、教学目标通过本篇的学习掌握以下内容集群基础配置的主要内容常见的上网模式网络配置文件的存放目录关闭防火墙的原因及方法SSH协议的基本概念免密登录的实现过程二、连网模式1.检查上网模式2.ping www.baidu.com(2).dhclient(3).ping www.baidu.com4.Windows下查看虚拟机5.虚拟机下查看上网模式2.虚拟机常见的三种上网模式模式说明桥接模式虚拟机与物理机在同一网段可直接互访NAT模式虚拟机通过地址转换访问外网与物理机不在同一网段仅主机模式仅能与宿主机通信无法访问外网桥接模式NAT模式仅主机模式:3.多网卡设置默认只有一个网卡生产环境需要多网卡。查看网卡信息 1ip a 2ifconfig 查看激活的网卡 3ifconfig –a (查看全部网卡网卡IP设置 vi /etc/sysconfig/network-scripts/ifcfg-eth0重启网络 service network restart (网卡IP设置生效)查看默认网关 route -n添加网卡三、主机网络配置1. 查看网卡信息baship a ifconfig # 查看激活的网卡 ifconfig -a # 查看全部网卡2. 配置静态IP编辑网卡配置文件bashvi /etc/sysconfig/network-scripts/ifcfg-eth0常用配置项说明参数含义DEVICE设备名称ONBOOT是否开机激活BOOTPROTOIP获取方式static/dhcpIPADDR静态IP地址NETMASK子网掩码GATEWAY默认网关DNS1首选DNS3. 重启网络服务bashservice network restart # CentOS6 systemctl restart network.service # CentOS7四、防火墙与时钟同步1. 关闭防火墙原因为防止乌龙事件在学习的时候要关闭防火墙。2.关闭的方法1关闭centos防火墙 systemctl stop firewalld.service关闭防火墙2查看防火墙状态 firewall-cmd –state3开启防火墙systemctl start firewalld.service3.时钟同步1.作用在hadoop环境的搭建过程中需要对几台机器配置ntp服务目的是让集群中的所有机器保持时间一致。如果时间相差较大在后续过程中会出现很多问题因此我们需要配置NTP服务、他可以提供高精度时间校准同时使用加密的方式防护病毒的协议攻击。2.相关操作rpm -qa | grep ntp 查看是否安装ntp yum install ntp ntpdate -y 安装ntp已安装则跳过此步骤systemctl status ntpd 查看ntp服务器状态vi /etc/ntp.conf 配置同步ntp-server时间文件内容如下systemctl start ntpd 启动ntp服务systemctl enable ntpd 设置开机启动ntpdate -u 10.82.71.73手动同步一次时间五、安装JDK开发环境注意rpm下载的文件全部在/usr下注意环境变量生效 source 文件名六、集群网络配置1. 克隆虚拟机用于快速复制多台节点。2. 唯一性配置克隆后需修改主机名IP地址MAC地址UUID3. 优化配置防止重启后恢复为原始设置。七、免密登录与用户管理1. 为什么要免密登录集群内节点之间频繁通信免密登录可提高效率避免重复输入密码。2.免密原理1.公钥和私钥匹配2. SSH协议 是一种加密的网络传输协议。可在不安全的网络中为网络服务提供安全的传输环境。SSH通过在网络中创建安全隧道来实现SSH客户端与服务器之间的连接。3.生成密钥生成密钥ssh-keygen -t rsa -C xxxxxxxxxx.com密钥存放位置:/root/.ssh生成密钥有几种私钥 id_tsa 、公钥 id_tsa.pub发送私钥给自己ssh-copy-id id_tsa localhost发送公钥给他人ssh-copy-id id_tsa.pub hadoop2注意三台机器都如此过程4.测试免密登录ssh localhostssh bigdata015.用户管理1.为什么要用户管理 root用户权限太高普通人拥有root权限风险太大在生产环境要使用普通用户权限。2.添加普通用户添加用户组bd groupadd bd添加普通用户py useradd –g bd py设置用户密码 password py(3).赋予用户权限4.切换用户切换到普通用户su py切换到超级用户su(5).删除用户userdel py