1、安装ambari

参考：http://julyme.com/c/Ambari的安装教程

2、安装flume

略。

3.安装kafka

略。

4.配置flume

#扫描指定文件配置
agent.sources = s1    
agent.channels = c1  
agent.sinks = k1

agent.sources.s1.type=exec
agent.sources.s1.command=tail -F /home/flume/test/test.log
agent.sources.s1.channels=c1
agent.channels.c1.type=memory
agent.channels.c1.capacity=10000
agent.channels.c1.transactionCapacity=100

#设置Kafka接收器
agent.sinks.k1.type= org.apache.flume.sink.kafka.KafkaSink
#设置Kafka的broker地址和端口号
agent.sinks.k1.brokerList=172.16.38.159:6667
#设置Kafka的Topic
agent.sinks.k1.topic=test
#设置序列化方式
agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder

agent.sinks.k1.channel=c1

5、配置kafka

创建一个topic

#创建一个test的topic
bin/kafka-topics.sh --zookeeper 172.16.38.159:2181 --create --topic test --replication-factor 1 --partitions 1

使用kafka的监控来查看

java -cp KafkaOffsetMonitor-assembly-0.2.0.jar \
 com.quantifind.kafka.offsetapp.OffsetGetterWeb \
 --zk 172.16.38.159:2181 \
 --port 8089 \
 --refresh 10.seconds \
 --retain 1.days

使用customer来查看收到的数据

./kafka-console-consumer.sh -zookeeper 172.16.38.159:2181 --from-beginning --topic test

 

个人博客地址：http://julyme.com

博文地址：http://julyme.com/c/ambari下的flume和kafka整合

转载请注明出处: http://www.julyme.com/20161104/17.html