Kafka + Apache Storm 安装配置


这段时间在搞数据处理相关的东西,学到很多东西,也猜到一些坑。架构什么的就不说了,我还不懂,省的拿出来坑人。

Kafka

Kafka 是linkedIn用于日志处理的分布式消息队列。通过构建分布式的集群,可以实现允许消息在系统总堆积,使得Kafka能支持在线和离线消息处理。Kafka负责接收消息,就像一个Queue一样,一直堆,直到有消息被消费掉。

部署Kafka集群只需要下载安装包kafka.apache.org,解压到指定目录下,配置server.properties

启动Kafka:./bin/kafka-server-start.sh --daemon config/server.properties &

Storm

Storm 是BackType开发的一套分布式实时计算系统。后被Twitter收购后开源。

1、安装zookeeper

安装Storm前要先安装zookeeper。

zookeeper.apache.org下载最新的zookeeper。

启动zookeeper:./zkServer.sh start

2、安装Storm

storm.apache.org下载最新的storm。

测试推荐最少3台Storm机器,一台做nimbus,两台supervisor。也可以在一台机器上安装,分别启动一个nimbus和supervisor。

注意配置storm.yaml,以单机为例:

storm.zookeeper.servers: 
    - "localhost"
nimbus.host : "localhost"  
storm.local.dir : "/usr/local/apache-storm-0.9.3/tmp"  
supervisor.slots.ports:  
  - 6700  
  - 6701  
  - 6702 

提交拓扑举例:

storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology myApp

然后nimbus机器上可以启动一个 storm ui 直观显示Storm集群的运行状态。

发表评论