kafka+zookeeper
@有唐1763：为什么搭建Kafka需要zookeeper? -
邹邵13987006355…… 需要一个地方存元信息.zookeeper又是分布式,做配置管理比较好的.于是就用上了.没zookeeper的话,也需要一套机制存储元数据和交换集群信息的工具.kafka的官方文档有说明.zookeeper是为了解决分布式一致性问题的工具.至于kafka为什么使用zk,你首先要知道zk的作用, 作为去中心化的集群模式.需要要消费者知道现在那些生产者(对于消费者而言,kafka就是生产者)是可用的.如果没了zk消费者如何知道,如果每次消费者在消费之前都去尝试连接生产者测试下是否连接成功,那么效率问题怎么解决.所以kafka需要zk,在kafka的设计中就依赖了zk了.
@有唐1763：Kafka自带Zookeeper吗?用自带的zk好还是另装的zk好?其它组件,如HIVE什么的,能 -
邹邵13987006355…… HBase的安装包里面有自带zookeeper的.很多系统部署也是直接启动上面的zookeeper.本来也是没有问题的,想想吧,系统里也只有hbase在用zookeeper.先启动zookeeper,再将hbase起来就好了?但是今天遇到了一个很蛋疼的问题.和同...
@有唐1763：kafka 集群 必须用zookeeper吗 -
邹邵13987006355…… (1)解压为zookeepertar -xf -C /home/myuser/zookeeper/ 复制zookeeper文件夹3份,分别重名名为zookeeperA,zookeeperB,zookeeperC. 并且创建数据快照以及日志存放文件夹,命名为zooA,zooB,zooC. (2)编辑对应的zookeeper配置文件
@有唐1763：如何利用pykafka远程消费 zookeeper+kafka集群 python脚本 -
邹邵13987006355…… 1、walk 用于递归遍历文件夹,获取所有文件.2、os.path 文件、文件夹路径等操作.
@有唐1763：如何使用python 连接kafka 并获取数据 -
邹邵13987006355…… 连接 kafka 的库有两种类型,一种是直接连接 kafka 的,存储 offset 的事情要自己在客户端完成.还有一种是先连接 zookeeper 然后再通过 zookeeper 获取 kafka 的 brokers 信息, offset 存放在 zookeeper 上面,由 zookeeper 来协调. 我现在使...
@有唐1763：kafka好像自带了个zookeeper,和我另外自己下载的zookeeper有什么不同啊啊 -
邹邵13987006355…… 别为. ZooKeeper的安装模式分为三种,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数:单机模式(stand-alone):这个配置项是用来配置 Zookeeper 接受客户端(这里所说...
@有唐1763：如何在windows下使用zookeeper -
邹邵13987006355…… 准备:下载kafka和zookeeper1:kafka官网地址:http://kafka.apache.org/downloads2:zookeeper官网地址:http://zookeeper.apache.org/ 配置zookeeper:1:伪集群配置1、在 \zookeeper-3.4.6\conf\ 新建三个配置文件zoo1.cfg、zoo2.cfg、zoo3.cfg ...
@有唐1763：kafka自带zookeeper的日志能删除吗 -
邹邵13987006355…… 1. 删除logs下的相关记录;2. 到zookeeper下的brokers/topics删除相关节点.--------------不好用!!先逻辑删除(./bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic dnsTopic --zookeeper 10.0.1.44:2181,10.0.1.45:2181,10.0.1.46:...
@有唐1763：kafka 怎么创建group -
邹邵13987006355…… 进入服务器后,找到kafka安装目录进入bin文件夹,输入命令--- 查看kafka现有主题命令:./kafka-topics.sh --list --zookeeper zk_host:port
@有唐1763：kafka 0.9版本的consumer为什么不再配置zookeeper.connector -
邹邵13987006355…… 因为0.9 之后的kafka使用了新的consumer API进行消费,配置bootstrap-server.旧API虽然兼容,但是会被逐渐取代. 参照官方文档 2.2 Consumer API As of the 0.9.0 release we have added a new Java consumer to replace our ...
邹邵13987006355…… 需要一个地方存元信息.zookeeper又是分布式,做配置管理比较好的.于是就用上了.没zookeeper的话,也需要一套机制存储元数据和交换集群信息的工具.kafka的官方文档有说明.zookeeper是为了解决分布式一致性问题的工具.至于kafka为什么使用zk,你首先要知道zk的作用, 作为去中心化的集群模式.需要要消费者知道现在那些生产者(对于消费者而言,kafka就是生产者)是可用的.如果没了zk消费者如何知道,如果每次消费者在消费之前都去尝试连接生产者测试下是否连接成功,那么效率问题怎么解决.所以kafka需要zk,在kafka的设计中就依赖了zk了.
@有唐1763：Kafka自带Zookeeper吗?用自带的zk好还是另装的zk好?其它组件,如HIVE什么的,能 -
邹邵13987006355…… HBase的安装包里面有自带zookeeper的.很多系统部署也是直接启动上面的zookeeper.本来也是没有问题的,想想吧,系统里也只有hbase在用zookeeper.先启动zookeeper,再将hbase起来就好了?但是今天遇到了一个很蛋疼的问题.和同...
@有唐1763：kafka 集群 必须用zookeeper吗 -
邹邵13987006355…… (1)解压为zookeepertar -xf -C /home/myuser/zookeeper/ 复制zookeeper文件夹3份,分别重名名为zookeeperA,zookeeperB,zookeeperC. 并且创建数据快照以及日志存放文件夹,命名为zooA,zooB,zooC. (2)编辑对应的zookeeper配置文件
@有唐1763：如何利用pykafka远程消费 zookeeper+kafka集群 python脚本 -
邹邵13987006355…… 1、walk 用于递归遍历文件夹,获取所有文件.2、os.path 文件、文件夹路径等操作.
@有唐1763：如何使用python 连接kafka 并获取数据 -
邹邵13987006355…… 连接 kafka 的库有两种类型,一种是直接连接 kafka 的,存储 offset 的事情要自己在客户端完成.还有一种是先连接 zookeeper 然后再通过 zookeeper 获取 kafka 的 brokers 信息, offset 存放在 zookeeper 上面,由 zookeeper 来协调. 我现在使...
@有唐1763：kafka好像自带了个zookeeper,和我另外自己下载的zookeeper有什么不同啊啊 -
邹邵13987006355…… 别为. ZooKeeper的安装模式分为三种,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数:单机模式(stand-alone):这个配置项是用来配置 Zookeeper 接受客户端(这里所说...
@有唐1763：如何在windows下使用zookeeper -
邹邵13987006355…… 准备:下载kafka和zookeeper1:kafka官网地址:http://kafka.apache.org/downloads2:zookeeper官网地址:http://zookeeper.apache.org/ 配置zookeeper:1:伪集群配置1、在 \zookeeper-3.4.6\conf\ 新建三个配置文件zoo1.cfg、zoo2.cfg、zoo3.cfg ...
@有唐1763：kafka自带zookeeper的日志能删除吗 -
邹邵13987006355…… 1. 删除logs下的相关记录;2. 到zookeeper下的brokers/topics删除相关节点.--------------不好用!!先逻辑删除(./bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic dnsTopic --zookeeper 10.0.1.44:2181,10.0.1.45:2181,10.0.1.46:...
@有唐1763：kafka 怎么创建group -
邹邵13987006355…… 进入服务器后,找到kafka安装目录进入bin文件夹,输入命令--- 查看kafka现有主题命令:./kafka-topics.sh --list --zookeeper zk_host:port
@有唐1763：kafka 0.9版本的consumer为什么不再配置zookeeper.connector -
邹邵13987006355…… 因为0.9 之后的kafka使用了新的consumer API进行消费,配置bootstrap-server.旧API虽然兼容,但是会被逐渐取代. 参照官方文档 2.2 Consumer API As of the 0.9.0 release we have added a new Java consumer to replace our ...
