Камунда.РФ 8 с Kafka Exporter

.
├── docker-compose.yml
├── agent/
│   └── zeebe-kafka-exporter.jar
└── config/
    └── broker.yaml

zeebe:
  image: <zeebe-image>
  volumes:
    - ./agent/zeebe-kafka-exporter.jar:/tmp/zeebe-kafka-exporter.jar

/tmp/zeebe-kafka-exporter.jar

zeebe:
  broker:
    exporters:
      kafka:
        className: rf.kamunda.exporters.kafka.KafkaExporter
        jarPath: /tmp/zeebe-kafka-exporter.jar
        args:
          producer:
            servers: "redpanda:9092"
            config: |
              clusterName: "clusterName"

docker compose logs -f zeebe

zeebe:
  broker:
    exporters:
      kafka:
        className: rf.kamunda.exporters.kafka.KafkaExporter
        # Указывает расположение JAR-файла экспортера
        jarPath: /path/to/zeebe-kafka-exporter.jar
        args:
          # Управляет количеством записей, буферизуемых в одном пакете,
          # перед принудительной отправкой (flush).
          # Значение по умолчанию — 100
          maxBatchSize: 100

          # Максимальное время блокировки (в миллисекундах), если пакет заполнен.
          # Если пакет заполнен и приходит новая запись, экспортёр будет ждать,
          # пока не освободится место в пакете, либо пока не истечёт
          maxBlockingTimeoutMs: 1000

          # Как часто ожидающие пакеты должны отправляться (flush)
          # в Kafka-брокер.
          flushIntervalMs: 1000

          # Конфигурация, специфичная для Kafka-продюсера
          producer:
            # Список адресов подключения к Kafka-брокерам.
            # Формат должен соответствовать: "host:port"
            servers: "redpanda:9092"

            # Определяет, сколько времени продюсер будет ждать подтверждения
            # от Kafka-брокера перед повторной попыткой отправки запроса
            requestTimeoutMs: 5000

            # Период корректного завершения работы продюсера
            # при остановке (в миллисекундах)
            closeTimeoutMs: 5000

            # Идентификатор Kafka-продюсера
            clientId: zeebe

            # Любые параметры в этом разделе будут переданы напрямую
            # в ProducerConfig. Это можно использовать для настройки
            # аутентификации, сжатия и т.п.
            config: |
               linger.ms=5
              buffer.memory=8388608
              batch.size=32768
              max.block.ms=5000
              clusterName: "myCluster"
        records:
          # Если тип значения записи не указан в конфигурационном файле,
          # будет использовано значение, заданное в defaults
          defaults: { type: "event", topic: zeebe }

          # Для записей со значением типа DEPLOYMENT
          deployment: { topic: zeebe-deployment }

          # Для записей со значением типа DEPLOYMENT_DISTRIBUTION
          deploymentDistribution: { topic: zeebe-deployment-distribution }

          # Для записей со значением типа ERROR
          error: { topic: zeebe-error }

          # Для записей со значением типа INCIDENT
          incident: { topic: zeebe-incident }

          # Для записей со значением типа JOB_BATCH
          jobBatch: { topic: zeebe-job-batch }

          # Для записей со значением типа JOB
          job: { topic: zeebe-job }

          # Для записей со значением типа MESSAGE
          message: { topic: zeebe-message }

          # Для записей со значением типа MESSAGE_SUBSCRIPTION
          messageSubscription: { topic: zeebe-message-subscription }

          # Для записей со значением типа MESSAGE_START_EVENT_SUBSCRIPTION
          messageStartEventSubscription: { topic: zeebe-message-subscription-start-event }

          # Для записей со значением типа PROCESS
          process: { topic: zeebe-process }

          # Для записей со значением типа PROCESS_EVENT
          processEvent: { topic: zeebe-process-event }

          # Для записей со значением типа PROCESS_INSTANCE
          processInstance: { topic: zeebe-process-instance }

          # Для записей со значением типа PROCESS_INSTANCE_RESULT
          processInstanceResult: { topic: zeebe-process-instance-result }

          # Для записей со значением типа PROCESS_MESSAGE_SUBSCRIPTION
          processMessageSubscription: { topic: zeebe-process-message-subscription }

          # Для записей со значением типа TIMER
          timer: { topic: zeebe-timer }

          # Для записей со значением типа VARIABLE
          variable: { topic: zeebe-variable }

.
├── docker-compose.yml
├── agent/
│   └── zeebe-kafka-exporter.jar
└── config/
    └── broker.yaml

name: KamundaRF
networks:
  net:
    driver: bridge
volumes:
  redpanda: null

services:
  redpanda:
    command:
      - redpanda
      - start
      - --kafka-addr internal://0.0.0.0:9092,external://0.0.0.0:19092
      - --advertise-kafka-addr internal://redpanda:9092,external://localhost:19092
      - --pandaproxy-addr internal://0.0.0.0:8082,external://0.0.0.0:18082
      - --advertise-pandaproxy-addr internal://redpanda:8082,external://localhost:18082
      - --schema-registry-addr internal://0.0.0.0:8081,external://0.0.0.0:18081
      - --rpc-addr redpanda:33145
      - --advertise-rpc-addr redpanda:33145
      - --mode dev-container
      - --smp 1
      - --default-log-level=info
    image: docker.redpanda.com/redpandadata/redpanda:v25.1.9
    container_name: redpanda
    volumes:
      - redpanda:/var/lib/redpanda/data
    networks:
      - net
    ports:
      - 18081:18081
      - 18082:18082
      - 19092:19092
      - 19644:9644
  console:
    container_name: redpanda-console
    image: docker.redpanda.com/redpandadata/console:v3.1.3
    networks:
      - net
    entrypoint: /bin/sh
    command: -c 'echo "$$CONSOLE_CONFIG_FILE" > /tmp/config.yml; /app/console'
    environment:
      CONFIG_FILEPATH: /tmp/config.yml
      CONSOLE_CONFIG_FILE: |
        kafka:
          brokers: ["redpanda:9092"]
        schemaRegistry:
          enabled: true
          urls: ["http://redpanda:8081"]
        redpanda:
          adminApi:
            enabled: true
            urls: ["http://redpanda:9644"]
    ports:
      - 8080:8080
    depends_on:
      - redpanda
  zeebe:
    image: harbor.boos.solutions/kamundarf/kamundarf8:1.0.0-SNAPSHOT
    depends_on:
      - redpanda
    volumes:
      - ./agent/zeebe-kafka-exporter.jar:/tmp/zeebe-kafka-exporter.jar
      - ./config/broker.yaml:/usr/local/zeebe/config/application.yaml
    environment:
      - ZEEBE_BROKER_NETWORK_HOST=0.0.0.0
      - ZEEBE_BROKER_GATEWAY_CLUSTER_HOST=0.0.0.0
      - ZEEBE_BROKER_GATEWAY_ENABLE=true
      - ZEEBE_RESTORE=false
      - ROCKSDB_MUSL_LIBC=false
    extra_hosts:
      host.testcontainers.internal: host-gateway
    ports:
      - 26500:26500
      - 9600:9600
    networks:
      - net
  simple-monitor:
    image: ghcr.io/camunda-community-hub/zeebe-simple-monitor:2.6.0
    container_name: zeebe-simple-monitor
    depends_on:
      - zeebe
      - redpanda
    networks:
      - net
    environment:
      SPRING_PROFILES_ACTIVE: kafka

      ZEEBE_CLIENT_BROKER_GATEWAYADDRESS: zeebe:26500
      ZEEBE_CLIENT_SECURITY_PLAINTEXT: "true"

      SPRING_KAFKA_BOOTSTRAP_SERVERS: redpanda:9092
    ports:
      - 8082:8082

zeebe:
  broker:
    exporters:
      kafka:
        className: rf.kamunda.exporters.kafka.KafkaExporter
        jarPath: /tmp/zeebe-kafka-exporter.jar
        args:
          producer:
            servers: "redpanda:9092"
            config: |
              linger.ms=5
              buffer.memory=8388608
              batch.size=32768
              max.block.ms=5000
              clusterName: "cluster"

docker compose up