Kubernetes - Comment lire les journaux qui sont écrits dans des fichiers dans des pods au lieu de stdout / stderr?

En gros, vous avez plusieurs options ici.

Si vous souhaitez procéder tel quel avec votre configuration,

vous pouvez accéder aux fichiers du conteneur quitté depuis l'hôte sur lequel le conteneur s'exécute.
Découvrez le worker sur lequel se trouve le conteneur:

$ ID=$(docker ps -a | grep my-pod | grep -v POD | cut -d" " -f1)
$ docker cp $ID:/my.log .
$ cat my.log
log entry

Ensuite, si vous avez accès à ce nœud (par exemple via shh), vous pouvez trouver le conteneur:

$ kubectl get pod my-pod -o custom-columns=Node:{.spec.nodeName} --no-headers
my-worker-node

Si vous ne disposez pas d'un accès ssh au nœud, vous pouvez utiliser des plugins comme celui-ci: https://github.com/kvaps/kubectl-enter

Mais ce n'est généralement pas la meilleure pratique

Vous ne devriez pas écrire de journaux dans fichiers, au lieu de cela, votre application devrait écrire dans stdout / stderr, il serait alors beaucoup plus facile de déboguer

Avez-vous essayé l'indicateur --previous ?

C'est comme

$ kubectl logs <pod-name> <container-name> --previous

J'étais tellement frustré de ne trouver aucune solution à ce problème apparemment courant que j'ai créé une image docker qui file les fichiers journaux et les envoie vers stdout, pour être utilisée comme conteneur side-car.

Voici ce que j'ai fait :

1. J'ai ajouté un volume avec emptyDir {} au pod
2. J'ai monté ce volume sur mon conteneur principal, le mountPath étant le répertoire dans lequel il écrit les journaux
3. J'ai ajouté un autre conteneur au pod, appelé "logger", l'image étant le journal de suivi que j'ai écrit ( lutraman / logger-sidecar: v2 ), et monté le même volume sur / logs (j'ai programmé le script pour lire les logs de ce répertoire)

alors, tous les journaux écrits dans ce répertoire sont accessibles par kubectl logs -c logger

Voici un exemple yaml:

#!/bin/bash

trap cleanup INT

function cleanup() {
  while read pid; do kill $pid; echo killed $pid; done < /tmp/pids
}

: > /tmp/pids

for log in $(ls logs); do
  ./addTail n logs $log
done

inotifyd ./addTail `pwd`/logs:n 

Pour tous ceux qui sont intéressés, voici comment j'ai créé le conteneur side-car:

Dockerfile:

#!/bin/sh

(exec tail -F logs/$3 | sed "s/^/$3: /" ) &
echo $! >> /tmp/pids

addTail:

FROM alpine:3.9

RUN apk add bash --no-cache

COPY addTail /addTail
COPY logtrack.sh /logtrack.sh

CMD ["./logtrack.sh"]

logtrack.sh:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: dummy
  labels:
    app: dummy
spec:
  selector:
    matchLabels:
      app: dummy
  template:
    metadata:
      labels:
        app: dummy
    spec:
      volumes:
        - name: logs
          emptyDir: {}
      containers:
        - name: dummy-app # the app that writes logs to files
          image: lutraman/dummy:v2
          ports:
            - containerPort: 8080
              name: http
              protocol: TCP
          env:
            - name: MESSAGE
              value: 'hello-test'
            - name: LOG_FILE
              value: '/var/log/app.log'
          volumeMounts:
            - name: logs
              mountPath: /var/log
        - name: logger # the sidecar container tracking logs and sending them to stdout
          image: lutraman/logger-sidecar:v2
          volumeMounts:
            - name: logs
              mountPath: /logs