Kafka6 오픈소스 메시지 시스템 nats Go로 만들어진 메시지 큐 시스템이 만들어졌다.최근에 설치가 편리하고 사용하기 편한게 없을까, 그리고 기존에 있던 것들보다 가벼운 것은 없을까 하는 생각에 찾아 보기 시작, Nats를 발견했다. Nats란?NATS는 현대 분산 시스템을 구동하는 연결 기술입니다. 연결 기술은 분산 시스템에서 공통적인 패턴을 구동하는 메시지의 주소 지정, 발견 및 교환을 담당합니다. 즉, 질문을 하고 답하고, 서비스/마이크로서비스라고 하며, 진술을 만들고 처리하고, 스트림 처리를 담당합니다. 현대 분산 시스템이 직면한 과제 현대 분산 시스템은 끊임없이 증가하는 하이퍼 연결 이동 부품과 이들이 생성하는 추가 데이터로 정의됩니다. 이들은 서비스와 스트림을 모두 사용하여 비즈니스 가치를 추진합니다. 이들은 또한 위치 독립.. 2025. 2. 21. [ 제 4강 관리 ] ReplicaFactor 변경 Replication Factor 이번에는 Replication Factor 변경하는 방법에 대해서 보겠습니다. 우선 이전 생성했던 example-topic 토픽에 정보를 확인해 보겠습니다. kafka-topics --zookeeper 192.168.2.77:2181,192.168.2.78:2181,192.168.2.78:2181/kafka --topic example-topic --describe # 결과 값 확인 Topic:example-topic PartitionCount:1 ReplicationFactor:1 Configs: Topic: example-topic Partition: 0 Leader: 3 Replicas: 3 Isr: 3 그럼 이제 replica factor 변경을 해보겠습니다. 지.. 2021. 2. 3. [ 제3-1강 소비와 생산 ] KAFKA Producer & Consumer 이번에는 토픽을 바라보는 여러대의 서버가 있다는 가정을 가지고 테스트 해보려 합니다. 구성은 다음과 같습니다. 많은 설명은 피하고, 그럼 테스트 진행을 해 보도록 하겠습니다. topic은 지난번 사용하였던 example-topic 을 사용하도록 하겠습니다. # KAFKA PRODUCER kafka-console-producer --broker-list 192.168.2.77:9092,192.168.2.78:9092,192.168.2.79:9092 --topic example-topic # KAFKA CONSUMER 1 kafka-console-consumer --bootstrap-server 192.168.2.77:9092,192.168.2.78:9092,192.168.2.79:9092 --topic e.. 2021. 2. 2. [ 제 3강 소비와 생산 ] KAFKA Producer & Consumer KAFKA의 생산과 소비를 테스트 하려 합니다. 우선 컨슈머 셋팅을 하겠습니다. 우리가 이전 시간에 생성했던 토픽을 활용합니다. 아래와 같이 컨슈머를 실행하면, 아래 이미지와 같은 console이 생성 됩니다. 어떤 현상이 발생 한다기 보다는 그냥 로그를 확인하는 창과 비슷합니다. 이벤트가 발생하면 찍히는 kafka-console-consumer --bootstrap-server 192.168.2.77:9092,192.168.2.78:9092,192.168.2.79:9092 --topic example-topic 이제 프로듀서를 실행해 보겠습니다. 아래와 같이 프로듀서를 실행하면 > 프롬프트 상태로 멈춰 있는데요, 이제 거기에 어떤한 모든 메시지를 입력하면 되겠죠~ kafka-console-produce.. 2021. 2. 1. [ 제 2강 설치 ] KAFKA TOPIC 생성 이번에는 TOPIC 생성을 해보도록 하겠습니다. TOPIC의 생성 방법은 어렵지 않으니 가볍게 해보도록 하겠습니다. kafka-topics --create --zookeeper 192.168.2.77:2181,192.168.2.78:2181,192.168.2.79:2181/kafka --replication-factor 1 --partitions 1 --topic example-topic 위와 같이 하면 topic 생성이 완료 됩니다. topic 생성 확인 명령은 아래와 같습니다. kafka-topics --zookeeper 192.168.2.77:2181,192.168.2.78:2181,192.168.2.79:2181/kafka --list | grep example-topic grep 없이 list를.. 2021. 2. 1. [ 제 1강 설치 ] zookeeper 와 KAFKA 설치하기 이번에는 zookeeper 설치를 진행해 보려 합니다. 오래전 설치 한 기억들을 끌어올리려 하니 ㅠㅠ 정말 힘드네요 일단 zookeeper 설치에 앞서 사전 진행 사항이 필요합니다. zookeeper와 kafka 테스트의 편의성을 위해 confluent platform을 사용해 보려합니다. 사전진행 (3대의 서버에서 실행 합니다.) 1. 필수 패키지 설치 진행 yum install curl which 2. yum 패키지 설치 rpm --import https://packages.confluent.io/rpm/6.0/archive.key 3. yum repo 생성 /etc/yum.repos.d/confluent.repo [Confluent.dist] name=Confluent repository (dist.. 2021. 1. 26. 이전 1 다음
