서버인프라/카프카6 [ 제 5강 AVRO 해보기] KAFKA AVRO 해보기 구성해 보기 오늘 해보려고 하는 구성이 대략 이런거에요 우선 기존에는 구성했던 kafka를 보면 1대의 서버에 kafka와 zookeeper가 같이 실행 되고 있는 형태 이죠~ 여기에 schemaregistory 와 connector 를 설정해서 연결해 볼 예정입니다. 그리고 mariadb를 설치하여 전송된 메시지를 바로 DB에 insert해 보도록 하겠습니다. 1. SCHEMA REGISTRY 세팅 vi /etc/schema-registry/schema-registry.properties ############################## 수정 사항 ################################ listeners=http://0.0.0.0:8081 kafkastore.connection.. 2021. 2. 5. [ 제3-1강 소비와 생산 ] KAFKA Producer & Consumer 이번에는 토픽을 바라보는 여러대의 서버가 있다는 가정을 가지고 테스트 해보려 합니다. 구성은 다음과 같습니다. 많은 설명은 피하고, 그럼 테스트 진행을 해 보도록 하겠습니다. topic은 지난번 사용하였던 example-topic 을 사용하도록 하겠습니다. # KAFKA PRODUCER kafka-console-producer --broker-list 192.168.2.77:9092,192.168.2.78:9092,192.168.2.79:9092 --topic example-topic # KAFKA CONSUMER 1 kafka-console-consumer --bootstrap-server 192.168.2.77:9092,192.168.2.78:9092,192.168.2.79:9092 --topic e.. 2021. 2. 2. [ 제 3강 소비와 생산 ] KAFKA Producer & Consumer KAFKA의 생산과 소비를 테스트 하려 합니다. 우선 컨슈머 셋팅을 하겠습니다. 우리가 이전 시간에 생성했던 토픽을 활용합니다. 아래와 같이 컨슈머를 실행하면, 아래 이미지와 같은 console이 생성 됩니다. 어떤 현상이 발생 한다기 보다는 그냥 로그를 확인하는 창과 비슷합니다. 이벤트가 발생하면 찍히는 kafka-console-consumer --bootstrap-server 192.168.2.77:9092,192.168.2.78:9092,192.168.2.79:9092 --topic example-topic 이제 프로듀서를 실행해 보겠습니다. 아래와 같이 프로듀서를 실행하면 > 프롬프트 상태로 멈춰 있는데요, 이제 거기에 어떤한 모든 메시지를 입력하면 되겠죠~ kafka-console-produce.. 2021. 2. 1. [ 제 2강 설치 ] KAFKA TOPIC 생성 이번에는 TOPIC 생성을 해보도록 하겠습니다. TOPIC의 생성 방법은 어렵지 않으니 가볍게 해보도록 하겠습니다. kafka-topics --create --zookeeper 192.168.2.77:2181,192.168.2.78:2181,192.168.2.79:2181/kafka --replication-factor 1 --partitions 1 --topic example-topic 위와 같이 하면 topic 생성이 완료 됩니다. topic 생성 확인 명령은 아래와 같습니다. kafka-topics --zookeeper 192.168.2.77:2181,192.168.2.78:2181,192.168.2.79:2181/kafka --list | grep example-topic grep 없이 list를.. 2021. 2. 1. [ 제 1강 설치 ] zookeeper 와 KAFKA 설치하기 이번에는 zookeeper 설치를 진행해 보려 합니다. 오래전 설치 한 기억들을 끌어올리려 하니 ㅠㅠ 정말 힘드네요 일단 zookeeper 설치에 앞서 사전 진행 사항이 필요합니다. zookeeper와 kafka 테스트의 편의성을 위해 confluent platform을 사용해 보려합니다. 사전진행 (3대의 서버에서 실행 합니다.) 1. 필수 패키지 설치 진행 yum install curl which 2. yum 패키지 설치 rpm --import https://packages.confluent.io/rpm/6.0/archive.key 3. yum repo 생성 /etc/yum.repos.d/confluent.repo [Confluent.dist] name=Confluent repository (dist.. 2021. 1. 26. APACHE KAFKA 이야기 KAFKA 사용기 데이터의 빠지는 현상을 최대한 줄여야 하는 시스템 운영이 필요하던 곳에서, DB에 적재되어야 할 데이터 적재되지 못하는 현상이 발생하는 상황을 맞이 했습니다. 그런 데이터들이 중간중간에 빠지면서 계산이 맞지 않아 어려움을 격었는데요, 그때 많은 고민을 하던 중 KAFKA 도입에 대한 얘기를 했습니다. 필자는 시스템엔지니어인데 그당시 개발자들에게 KAFKA사용을 권하는게 가장 큰 힘든점 이었습니다. 그럼, KAFKA의 장점과 단점을 이야기 해 보겠습니다. 1. 장점 - 속도 - 메시지 소실율의 감소 - 구조설계의 간소화 2. 단점 - 진입장벽이 있음 - 클러스터 구축에 있어 시스템 가용이 올라감. (zookeeper 3대, kafka 3대) 이벤트 스트리밍이란? 이벤트 스트리밍은 인체의 .. 2021. 1. 25. 이전 1 다음
