[kafka] 환경 구축 및 예제

Windows 환경

https://kafka.apache.org/downloads

Apache Kafka

 

2.8.0 버전의 Binary로 다운로드 해줍니다. (리소스 버전이나 최신 버전의 경우 Windows 환경에서 에러 발생 - 주요 클래스를 못찾거나 AccessDeniedExeption 발생)

- 오류: 기본 클래스 org.apache.zookeeper.server.quorum.QuorumPeerMain을(를) 찾거나 로드할 수 없습니다.

- ERROR Error while writing to checkpoint file D:\kafka_2.13-3.0.0\..\kafka_2.13-3.0.0\kafka-logs\log-start-offset-checkpoint (kafka.server.LogDirFailureChannel)
java.nio.file.AccessDeniedException: D:\kafka_2.13-3.0.0\kafka-logs

 

다운 받은 후 적당한 경로에 압축을 풀어줍니다. (D드라이브에 설치)

 

D:\kafka_2.12-2.8.0\config 경로로 이동

1. zookeeper.properties 

- dataDirs=../kafka_2.13-3.0.0/kafka-logs(실제 존재하는 경로이기만 하면 됨)

2. server.properties

- log.dirs=../kafka_2.13-3.0.0/kafka-logs(실제 존재하는 경로이기만 하면 됨)

 

1. Zookeeper 실행

- cmd 창을 하나 엽니다. 

- D:\kafka_2.12-2.8.0 경로로 이동합니다.

bin\windows\zookeeper-server-start.bat config\zookeeper.properties

- 위 명령어를 실행 시켜 줍니다.

- 정상 실행된 모습

 

2. kafka 실행

- cmd 창을 하나 추가로 엽니다.

- D:\kafka_2.12-2.8.0 경로로 이동합니다.

bin\windows\kafka-server-start.bat config\server.properties

- 위 명령어를 실행 시켜 줍니다.

- 위 화면과 같이 표시 되며 에러 없이 진행 됩니다.

 

3. Producer 실행

- cmd 창을 하나 엽니다.

- D:\kafka_2.12-2.8.0 경로로 이동합니다.

 

Topic 생성

bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test

Topic 목록

bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092

Topic 정보

bin\windows\kafka-topics.bat --describe --topic test --bootstrap-server localhost:9092

Topic 삭제

bin\windows\kafka-topics.bat --delete --topic test --bootstrap-server localhost:9092

- Topic을 삭제하기 위해서는 server.properties 파일에서 delete.topic.enable=true 설정을 추가 (서버 재시작 필요)

 

Producer 메세지 생성

bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

- 위 명령이 실행된 후 메세지를 입력하면 생성 됨

4. Consumer 실행

Consumer 메세지 소비

- cmd 창을 하나 추가로 엽니다.

- D:\kafka_2.12-2.8.0 경로로 이동합니다.

bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

- 위 명령어를 실행 시켜 줍니다.