Configuración de los processors

[dem3trio]

Hola,

lo primero de todo, mil gracias por el código y el conocimiento que estáis liberando.

Estamos trasteando con vuestras librerias, y adaptándolas un poco (ya que el nombre de los mensajes nos encaja al 100% a nuestros casos de usos y hemos tenido que meter un nivel más)..

Al llegar a la parte de monitorización hemos visto que en esta libreria hay varios processors y teneis tambien una template de filebeat.

Cual es la configuración de estos processors?

entendemos que simplemente es "registrarlos" en el services.yaml tipo:

PcComponentes\DddLogging\Context:
  tags:
     - {name: monolog.processor}

Pero ¿que sentido tiene por ejemplo la clase MonologIteratorProcessor?

Otra duda, que viene de mi escaso conocimiento de kibana/filebeat ¿como cargais la template de filebeat?. He intentado cargarla de varias maneras y he sido incapaz...

Gracias y un saludo.

[AaronBernabeu]

Hola @dem3trio te contestaré yo aunque ya no forme parte del equipo de PcComponentes.

El motivo por el cual existe la clase MonologIteratorProcessor es porque nos interesaba que los processors se ejecuten en un orden determinado, creo que monolog no tiene opción de definir un orden y si no recuerdo mal creo que los ejecutaba de forma alfabética (no estoy al 100% seguro de esto pero creo recordar que era así), entonces lo que hicimos fue crear el iterator para añadirlos en el orden que necesitábamos y solo definir como processor el priopio iterator, te adjunto un ejemplo.

  monolog.processor.iterator:
    class: PcComponentes\DddLogging\MonologIteratorProcessor
    arguments:
      $processors:
        - '@monolog.processor.occurred_on'
        - '@monolog.processor.hostname'
        - '@monolog.processor.execution_time'
        - '@monolog.processor.info'
        - '@monolog.processor.domain_trace'
        - '@monolog.processor.normalize_message'
        - '@monolog.processor.trace_of_exception'
    tags:
      - { name: monolog.processor }

Respecto a lo del template de elastic, puedes configurar filebeat para que sea el propio filebeat quien le mande la template a elastic una vez empiece a procesar logs, te adjunto también un ejemplo de configuración.

filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - /var/logs-path/*.log
    json.keys_under_root: true
    json.add_error_key: true
    json_message_key: log

output.elasticsearch:
  enabled: true
  index: "my-service-%{+yyyy.MM.dd}"
  hosts: ["elasticsearch:9200"]
  bulk_max_size: 50
  indices:
    - index: "my-service-commands-%{+yyyy.MM.dd}"
      when.contains:
        channel: "my-service-simple-message"
    - index: "my-service-events-%{+yyyy.MM.dd}"
      when.contains:
        channel: "my-service-event-published"

setup.template:
  enabled: true
  name: 'my-service'
  pattern: 'my-service-*'
  overwrite: false
  json:
    enabled: true
    path: "template.json"
    name: "my-service"

Espero haberte ayudado, si tienes cualquier duda puedes escribirme sin problemas 😃

Un saludo!