Linux下安装Storm集群

Linux下安装Storm集群

说明

本文没有说明配置hosts文件和设置免密登录，可以参考往期的内容。

• Hadoop2.6.1集群安装#第二部分 配置hosts文件
• Hadoop2.6.1集群安装#第二部分 第三部分 设置免密登录
• 集群节点分布信息
  • nimbus node1
  • ui node1
  • supervisor node1
  • supervisor node2
  • supervisor node3

第一部分 安装JDK

在node1上安装JDK。参见Linux下安装JDK8
在node2上安装JDK。参见Linux下安装JDK8
在node3上安装JDK。参见Linux下安装JDK8

第二部分 安装zookeeper

在node1,node2,node3上安装zookeeper集群。
安装配置参见Linux安装zookeeper 3.4.9

第三部分 安装Storm集群

• 上传
  将文件apache-storm-0.9.6.tar.gz上传到node1的 /export/apps/ 目录。
• 解压并创建软连接

cd /export/apps/
tar -zxvf apache-storm-0.9.6.tar.gz -C /export/servers/
cd /export/servers/
ln -s apache-storm-0.9.6 storm

• 修改配置文件

rm -f /export/servers/storm/conf/storm.yaml
vi /export/servers/storm/conf/storm.yaml
添加以下内容：

#指定storm使用的zk集群
storm.zookeeper.servers:
     - "node1"
     - "node2"
     - "node3"
#指定storm集群中的nimbus节点所在的服务器
nimbus.host: "node1"
#指定nimbus启动JVM最大可用内存大小
nimbus.childopts: "-Xmx1024m"
#指定supervisor启动JVM最大可用内存大小
supervisor.childopts: "-Xmx1024m"
#指定supervisor节点上，每个worker启动JVM最大可用内存大小
worker.childopts: "-Xmx768m"
#指定ui启动JVM最大可用内存大小，ui服务一般与nimbus同在一个节点上。
ui.childopts: "-Xmx768m"
#指定supervisor节点上，启动worker时对应的端口号，每个端口对应槽，每个槽位对应一个worker
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

• 分发配置文件和环境变量信息

scp -r /export/servers/apache-storm-0.9.6 node2:/export/servers/
scp -r /export/servers/apache-storm-0.9.6 node3:/export/servers/
scp -r /etc/profile node2:/etc/
scp -r /etc/profile node3:/etc/

• 创建软件连接和让环境变量生效
  在node2,node3上分别执行。

cd /export/servers/
ln -s apache-storm-0.9.6 storm
source /etc/profile

• 启动集群的服务
  在node1上启动nimbus

storm nimbus

在node1,node2,node3上启动supervisor

storm supervisor

在node1上启动ui

storm ui