카프카5 [ 제 4강 관리 ] ReplicaFactor 변경 Replication Factor 이번에는 Replication Factor 변경하는 방법에 대해서 보겠습니다. 우선 이전 생성했던 example-topic 토픽에 정보를 확인해 보겠습니다. kafka-topics --zookeeper 192.168.2.77:2181,192.168.2.78:2181,192.168.2.78:2181/kafka --topic example-topic --describe # 결과 값 확인 Topic:example-topic PartitionCount:1 ReplicationFactor:1 Configs: Topic: example-topic Partition: 0 Leader: 3 Replicas: 3 Isr: 3 그럼 이제 replica factor 변경을 해보겠습니다. 지.. 2021. 2. 3. [ 제3-1강 소비와 생산 ] KAFKA Producer & Consumer 이번에는 토픽을 바라보는 여러대의 서버가 있다는 가정을 가지고 테스트 해보려 합니다. 구성은 다음과 같습니다. 많은 설명은 피하고, 그럼 테스트 진행을 해 보도록 하겠습니다. topic은 지난번 사용하였던 example-topic 을 사용하도록 하겠습니다. # KAFKA PRODUCER kafka-console-producer --broker-list 192.168.2.77:9092,192.168.2.78:9092,192.168.2.79:9092 --topic example-topic # KAFKA CONSUMER 1 kafka-console-consumer --bootstrap-server 192.168.2.77:9092,192.168.2.78:9092,192.168.2.79:9092 --topic e.. 2021. 2. 2. [ 제 3강 소비와 생산 ] KAFKA Producer & Consumer KAFKA의 생산과 소비를 테스트 하려 합니다. 우선 컨슈머 셋팅을 하겠습니다. 우리가 이전 시간에 생성했던 토픽을 활용합니다. 아래와 같이 컨슈머를 실행하면, 아래 이미지와 같은 console이 생성 됩니다. 어떤 현상이 발생 한다기 보다는 그냥 로그를 확인하는 창과 비슷합니다. 이벤트가 발생하면 찍히는 kafka-console-consumer --bootstrap-server 192.168.2.77:9092,192.168.2.78:9092,192.168.2.79:9092 --topic example-topic 이제 프로듀서를 실행해 보겠습니다. 아래와 같이 프로듀서를 실행하면 > 프롬프트 상태로 멈춰 있는데요, 이제 거기에 어떤한 모든 메시지를 입력하면 되겠죠~ kafka-console-produce.. 2021. 2. 1. [ 제 2강 설치 ] KAFKA TOPIC 생성 이번에는 TOPIC 생성을 해보도록 하겠습니다. TOPIC의 생성 방법은 어렵지 않으니 가볍게 해보도록 하겠습니다. kafka-topics --create --zookeeper 192.168.2.77:2181,192.168.2.78:2181,192.168.2.79:2181/kafka --replication-factor 1 --partitions 1 --topic example-topic 위와 같이 하면 topic 생성이 완료 됩니다. topic 생성 확인 명령은 아래와 같습니다. kafka-topics --zookeeper 192.168.2.77:2181,192.168.2.78:2181,192.168.2.79:2181/kafka --list | grep example-topic grep 없이 list를.. 2021. 2. 1. [ 제 1강 설치 ] zookeeper 와 KAFKA 설치하기 이번에는 zookeeper 설치를 진행해 보려 합니다. 오래전 설치 한 기억들을 끌어올리려 하니 ㅠㅠ 정말 힘드네요 일단 zookeeper 설치에 앞서 사전 진행 사항이 필요합니다. zookeeper와 kafka 테스트의 편의성을 위해 confluent platform을 사용해 보려합니다. 사전진행 (3대의 서버에서 실행 합니다.) 1. 필수 패키지 설치 진행 yum install curl which 2. yum 패키지 설치 rpm --import https://packages.confluent.io/rpm/6.0/archive.key 3. yum repo 생성 /etc/yum.repos.d/confluent.repo [Confluent.dist] name=Confluent repository (dist.. 2021. 1. 26. 이전 1 다음
