自动化部署 - Ambari 安装笔记

ambari 介绍

Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目

就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop。用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。

接下来进行一次简单的安装,算是一次安装笔记

  1. 下载准备好ambari 和hdp 系列安装包的本地yum源
  2. 安装ambari
  3. 如何通过ambari安装HDP等服务

一 下载和配置 ambari & HDP & HDP-UTILS 本地yum仓库

测试服务器是centos6.9。所以在下载时需要根据服务器版本选择

ambari版本选择:

https://docs.hortonworks.com/index.html

1. 下载Ambari-2.6.2.0 (centos6 )

不同操作系统的都在这里面找

https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.2.0/bk_ambari-installation/content/ambari_repositories.html

(centos6 )版本:
nohup wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.6.2.0/ambari-2.6.2.0-centos6.tar.gz & > /dev/null 2>&1

2. 下载HDP

不同操作系统的都在这里面找

https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.2.0/bk_ambari-installation/content/hdp_26_repositories.html

(centos6 )版本:

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.5.0/HDP-2.6.5.0-centos6-rpm.tar.gz

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos6/HDP-UTILS-1.1.0.22-centos6.tar.gz

下载完成后,解压到当前目录

3. 启动 http 服务

1
nohup /usr/bin/python -m SimpleHTTPServer 9381 &

4.创建 /etc/yum.repos.d/ambari.repo

vim /etc/yum.repos.d/ambari.repo

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
[ambari]
name=ambari
baseurl=http://10.10.1.253:9381/ambari/centos6/2.6.2.0-155
gpgcheck=1
gpgkey=http://10.10.1.253:9381/ambari/centos6/2.6.2.0-155/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.22]
name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.21
baseurl=http://10.10.1.253:9381/HDP-UTILS/centos6/1.1.0.22
gpgcheck=0
priority=1
[HDP-2.6.5.0]
name=HDP-2.6.5.0
baseurl=http://10.10.1.253:9381/HDP/centos6/2.6.5.0-292
gpgcheck=0
enabled=1

10.10.1.253 替换为自己的服务器

5. 更新yum源

配置好后,刷新yum源

1
2
3
4
yum clean all
yum list update
yum makecache
yum repolist

这样就完成了 ambari和HDP 的安装源配置

二 配置host & FQDN

ambari在安装时需要配置全域名,所以需要检查DNS。为了减轻DNS的负担, 建议在节点里用 Name Service Caching Daemon (NSCD).

注意顺序,网上有把hostname主机名放在fqdn前面的就是ip hostname fqdn 结果用hostname -f查出来是不是fqdn.正确顺序应该是:

1
2
3
4
ip fqdn hostname
10.10.1.253 ark2.isu ark2
10.10.1.252 ark1.isu ark1

每台节点里配置FQDN,如下以主节点为例

1
2
3
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=ark2.isu

需要重启机器。如果不重启,可以临时 执行

1
hostname ark2.isu

hostname -f 查看主机FQDN

三 创建ambari系统用户和用户组

只在主节点操作

1
2
adduser ambari
passwd ambari

四 免密、开启NTP服务、防火墙等

1.免密参考

自动化部署 - 集群配置SSH免密自动化脚本

2.开启NTP服务

centos 6

1
2
3
4
yum install ntpd
chkconfig --list ntpd
chkconfig ntpd
service ntpd start

centos7

1
2
3
4
5
yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd

3.关闭防火墙

centos6

1
2
chkconfig iptables off
/etc/init.d/iptables stop

centos7

1
2
systemctl disable firewalld
systemctl stop firewalld

4.关闭SELinux

查看SELinux状态

1
sestatus

临时关闭,不用重启机器:

1
setenforce 0

修改配置文件需要重启机器:

1
2
vi /etc/sysconfig/selinux
SELINUX=disabled

五 Mysql 及ambari库创建

Ambari安装会将安装等信息写入数据库,建议使用自己安装的Mysql数据库,也可以不安装而使用默认数据库PostgreSQL

Mysql数据库安装过程请参考下面文章:

http://blog.csdn.net/lochy/article/details/51721319

安装完成后创建ambari数据库及用户,登录root用户执行下面语句:

1
2
3
4
create database ambari character set utf8 ;
grant all on ambari.* to 'ambari'@'%' identified by 'Ambari-123' with grant option;
grant all on ambari.* to 'ambari'@'localhost' identified by 'Ambari-123' with grant option;
flush privileges;

安装mysql jdbc 驱动

1
yum install mysql-connector-java

六 安装JDK

安装解压版JDK,先到官网下载jdk-8u91-linux-x64.tar.gz
,再执行下面命令:

1
2
3
4
5
6
tar -zxvf jdk-8u91-linux-x64.tar.gz -C /opt/java/
vim /etc/profile
export JAVA_HOME=/opt/java/jdk1.8.0_91
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
source /etc/profile

七 安装ambari-server、ambari-agent

1
2
3
yum install ambari-server ambari-agent -y -d 0 -e 0
ambari-server setup

配置参考
https://blog.csdn.net/daiyutage/article/details/52210830

启动

1
ambari-server start

八 安装HDP 配置集群

后续的ambari上的操作,参考

https://blog.csdn.net/daiyutage/article/details/52210830

其中配置的本地源修改为上面配置好的yum源
http://10.10.1.253:9381/HDP/centos6/2.6.5.0-292/
http://10.10.1.253:9381/HDP-UTILS/centos6/1.1.0.22/

参考

https://blog.csdn.net/daiyutage/article/details/52210830
http://www.cnblogs.com/zlslch/p/6629241.html

坚持原创技术分享,您的支持将鼓励我继续创作!
分享