Maenya's Techlog

지난 포스팅때 했던대로 Zookeeper와 Kafka를 실습전 미리 구동시켜두고 실습을 진행한다. 제작하던 spring boot 프로젝트 그대로, 여기에 kafka만 연동할 것이다. 1. pom.xml 에 Kafka 관련한 Dependency 추가하기 org.apache.kafka kafka-streams org.springframework.kafka spring-kafka org.springframework.kafka spring-kafka-test test 2. resources 패키지에 kafka.properties 생성 bootstrap.servers=localhost:9092 retries=0 batch.size=4096 linger.ms=1 buffer.memory=40960 그런데 이것을 기..

Kafka는 Docker에 설치하거나 Windows에 바로 설치할 수 있다. Docker에 설치하려면 Docker도 설치가 되어 있어야 하고, Docker는 윈도우pro 버전 이상, Mac os에서 사용가능하다. 현재는 Mac을 사용할 수 없는 상황이고 윈도우10으로 해보려고 해도 약간 어둠의 방식이 필요해서.. 그냥 일단은 Docker 사용없이 윈도우에 바로 Kafka를 설치 해보려고 한다. 그러려면 Zookeeper도 설치가 되어야 한다. (휴 왜이리 설치할 게 많은지~) 1. Kafka 다운로드 1) Windows Kafka 공홈에서 Kafka 다운로드 (현재 최신 버전은 2.8) Binary 압축 파일을 다운 Kafka는 스칼라로 개발 되었으므로, 시스템에 JVM이 설치되어 있어야 함(jdk8 이..

Kafka의 기본 구성 요소와 동작 - 아파치 카프카(Apache Kafka)는 LinkedIn에서 개발된 분산 메시징 시스템이다. publish-subscribe 모델을 기반으로 동작하며 producer, consumer, broker로 구성된다. - Kafka의 broker는 topic을 기준으로 메시지를 관리한다. [동작 그림 추가 필요] 메시지 발행/구독 시스템에서는 데이터(메시지)를 발행자(전송자)가 직접 구독자(수신자)에게 보내지 않는다. 대신 발행자가 어떤 형태로든 메시지를 구분해서 발행/구독 시스템에 전송하면 구독자가 특정 부류의 메세지를 구독할 수 있게 해준다. 이때 발행된 메세지를 저장하고 중계하는 역할을 브로커가 수행한다. 메세지는 토픽으로 분류되고, 토픽은 여러 파티션으로 나뉠 수 ..