Linux下安装Storm集群
Linux下安装Storm集群
说明
本文没有说明配置hosts文件和设置免密登录,可以参考往期的内容。
- Hadoop2.6.1集群安装#第二部分 配置hosts文件
- Hadoop2.6.1集群安装#第二部分 第三部分 设置免密登录
- 集群节点分布信息
- nimbus node1
- ui node1
- supervisor node1
- supervisor node2
- supervisor node3
第一部分 安装JDK
在node1上安装JDK。参见Linux下安装JDK8
在node2上安装JDK。参见Linux下安装JDK8
在node3上安装JDK。参见Linux下安装JDK8
第二部分 安装zookeeper
在node1,node2,node3上安装zookeeper集群。
安装配置参见Linux安装zookeeper 3.4.9
第三部分 安装Storm集群
- 上传
将文件apache-storm-0.9.6.tar.gz上传到node1的 /export/apps/ 目录。 - 解压并创建软连接
cd /export/apps/
tar -zxvf apache-storm-0.9.6.tar.gz -C /export/servers/
cd /export/servers/
ln -s apache-storm-0.9.6 storm
- 修改配置文件
rm -f /export/servers/storm/conf/storm.yaml
vi /export/servers/storm/conf/storm.yaml
添加以下内容:
#指定storm使用的zk集群
storm.zookeeper.servers:
- "node1"
- "node2"
- "node3"
#指定storm集群中的nimbus节点所在的服务器
nimbus.host: "node1"
#指定nimbus启动JVM最大可用内存大小
nimbus.childopts: "-Xmx1024m"
#指定supervisor启动JVM最大可用内存大小
supervisor.childopts: "-Xmx1024m"
#指定supervisor节点上,每个worker启动JVM最大可用内存大小
worker.childopts: "-Xmx768m"
#指定ui启动JVM最大可用内存大小,ui服务一般与nimbus同在一个节点上。
ui.childopts: "-Xmx768m"
#指定supervisor节点上,启动worker时对应的端口号,每个端口对应槽,每个槽位对应一个worker
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
- 分发配置文件和环境变量信息
scp -r /export/servers/apache-storm-0.9.6 node2:/export/servers/
scp -r /export/servers/apache-storm-0.9.6 node3:/export/servers/
scp -r /etc/profile node2:/etc/
scp -r /etc/profile node3:/etc/
- 创建软件连接和让环境变量生效
在node2,node3上分别执行。
cd /export/servers/
ln -s apache-storm-0.9.6 storm
source /etc/profile
- 启动集群的服务
在node1上启动nimbus
storm nimbus
在node1,node2,node3上启动supervisor
storm supervisor
在node1上启动ui
storm ui