Linux下安装Storm集群

说明

本文没有说明配置hosts文件和设置免密登录,可以参考往期的内容。

第一部分 安装JDK

在node1上安装JDK。参见Linux下安装JDK8
在node2上安装JDK。参见Linux下安装JDK8
在node3上安装JDK。参见Linux下安装JDK8

第二部分 安装zookeeper

在node1,node2,node3上安装zookeeper集群。
安装配置参见Linux安装zookeeper 3.4.9

第三部分 安装Storm集群

  • 上传
    将文件apache-storm-0.9.6.tar.gz上传到node1的 /export/apps/ 目录。
  • 解压并创建软连接
cd /export/apps/
tar -zxvf apache-storm-0.9.6.tar.gz -C /export/servers/
cd /export/servers/
ln -s apache-storm-0.9.6 storm
  • 修改配置文件
rm -f /export/servers/storm/conf/storm.yaml
vi /export/servers/storm/conf/storm.yaml
添加以下内容:

#指定storm使用的zk集群
storm.zookeeper.servers:
     - "node1"
     - "node2"
     - "node3"
#指定storm集群中的nimbus节点所在的服务器
nimbus.host: "node1"
#指定nimbus启动JVM最大可用内存大小
nimbus.childopts: "-Xmx1024m"
#指定supervisor启动JVM最大可用内存大小
supervisor.childopts: "-Xmx1024m"
#指定supervisor节点上,每个worker启动JVM最大可用内存大小
worker.childopts: "-Xmx768m"
#指定ui启动JVM最大可用内存大小,ui服务一般与nimbus同在一个节点上。
ui.childopts: "-Xmx768m"
#指定supervisor节点上,启动worker时对应的端口号,每个端口对应槽,每个槽位对应一个worker
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703
  • 分发配置文件和环境变量信息
scp -r /export/servers/apache-storm-0.9.6 node2:/export/servers/
scp -r /export/servers/apache-storm-0.9.6 node3:/export/servers/
scp -r /etc/profile node2:/etc/
scp -r /etc/profile node3:/etc/
  • 创建软件连接和让环境变量生效
    在node2,node3上分别执行。
cd /export/servers/
ln -s apache-storm-0.9.6 storm
source /etc/profile
  • 启动集群的服务
    在node1上启动nimbus
storm nimbus

在node1,node2,node3上启动supervisor

storm supervisor

在node1上启动ui

storm ui

标签: storm

相关文章推荐

添加新评论,含*的栏目为必填