Programming/[kafka] (5) 썸네일형 리스트형 [kafka] Burrow 설치 및 설정 1. Burrow란? Burrow는 카프카의 모니터링 툴로 Consumer의 LAG을 모니터링할 때 주로 사용된다. 모든 Consumer의 커밋 오프셋을 모니터링한다. 또한 필요할 때 Consumer의 상태를 계산한다. HTTP 엔드포인트를 통해 상태를 요청할 수 있으며, 다른 카프카 클러스터의 정보를 제공받을 수 있다. 이메일이나 HTTP 호출을 통해 다른 서비스로 상태를 보낼 수 있는 구성 가능한 알람 기능도 있다. 2. Burrow의 특징 NO THRESHOLDS! : Groups are evaluated over a sliding window. 여러 카프카 클러스터 지원 커밋된 오프셋을 사용하여 모든 Consumer를 자동으로 모니터링 Zookeeper 커밋 오프셋 지원 Storm 커밋 오프셋 지.. [kafka] CMAK 설치 및 연동 1. CMAK (Kafka Manager) 이란 - Kafka Manager는 yahoo에서 제작한 GUI 기반 카프카 관리 도구 - 웹 환경에서 클러스터, 토픽 등의 생성 및 변경, consumer group 확인 등의 작업을 웹 환경에서 확인하고 진행 - CLI 환경에서도 Kafka를 관리할 수 있으나 편의적인 측면에서 많은 기업들이 kafka-manager 를 도입하여 운용중 2. CMAK 설치 https://github.com/yahoo/CMAK/releases Releases · yahoo/CMAK CMAK is a tool for managing Apache Kafka clusters. Contribute to yahoo/CMAK development by creating an account .. [kafka] kafka 모니터링 및 대시보드 이 글에서는 항상 모니터링 해야하는 중요한 메트릭은 어느 것인지, 그에 대해 어떻게 대응해야 하는지에 대해 알아볼 예정이다. 크게 브로커, 프로듀서, 컨슈머에서 각각 중요한 메트릭 정보가 나올 것이며, 브로커는 다시 토픽, 파티션, 로깅과 같이 3가지 세부항목으로 나누어 좀 더 상세한 메트릭 정보를 제공할 예정이다. Kafka의 메트릭 카프카의 모든 메트릭은 JMX(Java Management Extensions) 인터페이스를 통해 사용할 수 있다. 외부 모니터링 시스템에서 카프카 메트릭을 사용할 때는, 해당 모니터링 시스템의 모니터링 에이전트를 카프카 프로세스에 연결하는 것이 가장 쉬운 방법이다. 카프카 브로커의 JMX에 직접 연결하는 애플리케이션을 도와주기 위해 주키퍼에 저장된 브로커 정보에는 JMX.. [kafka] 환경 구축 및 예제 Windows 환경 https://kafka.apache.org/downloads Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 2.8.0 버전의 Binary로 다운로드 해줍니다. (리소스 버전이나 최신 버전의 경우 Windows 환경에서 에러 발생 - 주요 클래스를 못찾거나 AccessDeniedExeption 발생) - 오류: 기본 클래스 org.apache.zookeeper.server.quorum.QuorumPeerMain을(를) 찾거나 로드할 수 없습니다. - ERROR Error while writing to checkpoint file D:\kafka_2.13-3.0.0\..\kafka_2.13-3... [kafka] Apache kafka 1. Apache kafka란? - kafka는 Pub-Sub 모델의 메시지 큐 - 빠르고 확장 가능한 작업을 위해 데이터 피드의 분산 스트리밍, 파이프 라이닝 및 재생을 위한 실시간 스트리밍 데이터를 처리하기 위한 목적으로 설계된 오픈 소스 분산형 게시-구독 메시징 플랫폼 - 서버 클러스터 내에서 데이터 스트림을 레코드로 유지하는 방식으로 작동하는 브로커 기반 솔루션 - 여러 데이터 센터에 분산되어 있을 수 있으면 여러 서버 인스턴스에 걸쳐 레코드 스트림(메시지)을 토픽으로 저장하여 데이터 지속성을 제공 가능 2. 기본 구조 - kafka 클러스터 1. 메세지를 저장하는 저장소 2. 여러개의 브로커(각각의 서버)로 구성이 됨 3. 브로커들이 메세지를 나눠서 저장, 이중화 처리, 장애가 나면 대체 함 4.. 이전 1 다음
