[windows] kafka 실행

환경: 윈도우11, kafka2.13-3.6.1

 

카프카는 공홈에서 받아주고, 압축을 풀어준다.

카프카/주키퍼 실행 시 아래와 같은 에러 발생한다.

확인해보니 kafka-server-start.bat실행 시 같은 폴더 안에 있는 kafka-run-class.bat를 참조하여 같이 실행시키는데 여기서 너무 많은 classpath를 호출하여 문제가 생기는 것. 윈도우 cmd는 명령줄에 8192글자까지 제한된다고 함..

 

해결방법은 보통 아래와 같이 두가지 방법이 있는 것 같은데,  실행 파일을 수정해 봤는데도 에러가 났음..

1. kafka 폴더를 C드라이브 바로 밑으로 옮긴후에 실행 + 폴더명 변경
2. 실행파일 수정

https://stackoverflow.com/questions/48834927/the-input-line-is-too-long-when-starting-kafka/50168530#50168530

The input line is too long when starting kafka

 

그래서 우선 폴더를 C > Program files 아래에 두고, 파일 이름까지 바꿨는데도 또 에러 발생.

진짜 개복치

그래서 C > windows 아래로 옮겼더니 된다.. 진짜 말이 되나

주키퍼 포트: 2181

카프카 포트: 9092

 

 

카프카가 제공하는 샘플 데이터 producer/consumer

토픽에 데이터를 쌓아두면 그걸 구독하는 컨수머가 가져가는 방식

9092 카프카 서버에 토픽 생성; 멀티 클러스터링 시 파티션 값 사용 

windows의 경우 아래 명령어의 .sh 대신 .bat로 바꿔서 실행해야 함!

메시지 생산

$KAFKA_HOME/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic quickstart-events

메시지 소비

$KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic quickstart-events --from-beginning

 

실제 실행 시..