[Kafka] Install Apache Kafka on Windows PC (Kafka 윈도우 설치)

Kafka 설치

1. 공식 사이트에서 kafka를 다운로드 합니다.

https://kafka.apache.org/downloads

Apache Kafka

작성일 기준 가장 최신 버전인 3.8.0으로 Binary downloads - Scala 2.13을 받아주겠습니다.

 

2. 압축해제

다운로드가 완료가 된 후에 압축을 해제하고 C드라이브로 폴더를 옮겨주세요. 그리고 폴더명을 kafka로 변경해주세요

(이후 과정 통일을 위해서 이렇게 진행하였습니다. 원하시는 위치가 있으면 그렇게 하셔도 되지만 이후 위치 설정할 때 본인이 설정한 위치로 적절히 바꾸셔야 합니다.)

다음과 같이 되어있으면 다음 단계로 진행하셔도 좋습니다.

 

3. config/server.properties 수정

vscode로 파일을 연 모습

log.dirs=/tmp/kafka-logs라고 되어있을텐데 여기서 tmp를 현재 kafka폴더의 경로를 kafka폴더를 포함해서 바꾸어주세요. /경로/kafka폴더명/kafka-logs 위에서 저와 같이 C 드라이브로 옮기고 폴더명을 kafka로 바꾸신 경우에는

log.dirs=c:/kafka/kafka-logs

이렇게 바꾸시면 됩니다.

 

4. config/zookeeper.properties 수정

위 과정과 마찬가지로 zookeeper.properties을 열고 이번에는 dataDir를 바꾸시면 됩니다.

/경로/kafka폴더명/zookeeper-data로 변경해주세요. zookeeper 그대로 사용하는 것이 아니라 zookeeper-data입니다.

dataDir=c:/kafka/zookeeper-data

 

5. batch 파일 실행

 

kafka 폴더 위치에서 cmd를 열어주세요. 앞선 server.properties, zookeeper.properties이 있었던 config 폴더가 아닌 상위 폴더인 kafka 폴더이므로 주의해주세요.

통일을 위해 powershell이 아닌 cmd로 열어주시길 바랍니다. powershell로 여신 경우 명령어 cmd를 입력하여 cmd로 바꿔주세요. 

이제 batch 파일들을 다음과 같은 명령어로 설치할 것입니다.

.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

zookeeper가 실행되었습니다.  INFO ZooKeeper audit is disabled.에서 멈춘 채로 현재 커서가 깜박이실텐데 잘 된 것입니다. 이 창을 끄지마시고 창을 최소하시키시든 다른 한 쪽으로 밀어 넣으시든지하고, kafka 폴더에서 새로운 cmd를 열어주세요. 이번에는 kafka 서버를 열 것 입니다.

.\bin\windows\kafka-server-start.bat .\config\server.properties

kafka 서버 또한 성공적으로 실행시켰습니다.

 

6. 작동 확인

지금부터의 과정은 producer와 consumer를 연결하고 테스트하는 과정입니다. 위 두 서버를 열었던 cmd는 그대로 놨두셔야 합니다.(서버를 열어두셔야 합니다)

이번에는 kafka\bin\windows에서 새롭게 cmd를 열어주세요.

test라는 이름의 topic을 만들었습니다.

test topic에 대한 producer를 만들었습니다.

consumer를 만들기 위해 또 새롭게 kafka\bin\windows에 cmd를 열어주세요.

consumer를 성공적으로 열었습니다.

producer에 샘플 json data를 입력하니 consumer에서 이를 잘 받아와서 출력합니다.

 

서버를 종료하고 싶다면 다음과 같은 명령어를 사용하시면 됩니다.

.\bin\windows\zookeeper-server-stop.bat .\config\zookeeper.properties

.\bin\windows\kafka-server-stop.bat .\config\server.properties