[Terminé] Maintenance des services à 2 heures du matin (Paris)

[Elodie]

Bonjour,

Cette nuit à partir de 2 heures du matin (heure de Paris), le serveur de fichiers vas être mis à jour et être redémarré, occasionnant une indisponibilité temporaire des services pendant quelques minutes à une petite heure.

Le dernier redémarrage du serveur de fichiers a eu lieu il y a près de 2 ans (698 jours) et est nécessaire pour l'application des différents correctifs de sécurité sur le kernel Linux.

Nous passerons de la branche de Debian 8 "Jessie" à la dernière version 9 Debian 9 "Stretch", disponible depuis près de 2 mois.

Merci de votre compréhension.

[Elodie]

Bonjour,

Il sera 2 heure du matin dans un peu moins de 5 minutes, c'est alors avec un mal de tête (problème aux dents) que je vais commencer la maintenance sur le serveur de fichiers.

Cette maintenance vas rendre temporairement indisponible tous les services, les mails seront délivrés après la remise en fonction des outils à la normales.

Je commence les préparatifs ...

[Elodie]

Cette maintenance vas rendre temporairement indisponible tous les services, les mails seront délivrés après la remise en fonction des outils à la normales.

Les services ont été coupés à 2h19 et sont revenus à l'instant à 2h25.
Je suis en train de vérifier tous les services ...

[Elodie]

Je viens de passer un peu de temps à corriger un petit problème NFS sur le service rpc-statd pour qu'il puisse se lancer via Systemd.

Techniquement :

Le service /sbin/rpc.statd ne tournait pas dans les processus :

Code : Tout sélectionner

    [***] root@filer:~# ps -ef | grep -i statd
    root     41688  1884  0 03:19 pts/0    00:00:00 grep --color=auto -i statd

J'avais alors des soucis de verrous multi-accès sur l'espace NFS depuis les différents noeuds :

Code : Tout sélectionner

Aug 16 02:44:07 localhost kernel: [ 1265.796323] lockd: cannot monitor web3
Aug 16 02:44:14 localhost kernel: [ 1271.944748] lockd: cannot monitor web2
Aug 16 02:44:20 localhost kernel: [ 1278.085290] lockd: cannot monitor web1
Aug 16 02:44:26 localhost kernel: [ 1284.229407] lockd: cannot monitor web3
Aug 16 02:44:32 localhost kernel: [ 1290.374061] lockd: cannot monitor web2
Aug 16 02:44:38 localhost kernel: [ 1296.518460] lockd: cannot monitor web1

et un démarrage en manuel ne fonctionnait pas non plus :

Code : Tout sélectionner

    [03:07:11] root@filer:~# service start rpc-statd.service
    Failed to start rpc-statd.service.service: Unit rpc-statd.service.service not found.

J'ai alors procédé ainsi :

Code : Tout sélectionner

    [03:14:29] root@filer:~# systemctl add-wants multi-user.target rpcbind.service
     
    [03:15:01] root@filer:~# systemctl status rpc-statd.service
    ● rpc-statd.service - NFS status monitor for NFSv2/3 locking.
       Loaded: loaded (/lib/systemd/system/rpc-statd.service; disabled; vendor preset: enabled)
       Active: inactive (dead)
     
    [03:15:06] root@filer:~# systemctl start rpc-statd.service
     
    [03:15:13] root@filer:~# systemctl status rpc-statd.service
    ● rpc-statd.service - NFS status monitor for NFSv2/3 locking.
       Loaded: loaded (/lib/systemd/system/rpc-statd.service; disabled; vendor preset: enabled)
       Active: active (running) since Wed 2017-08-16 03:15:13 CEST; 1s ago
      Process: 26466 ExecStart=/sbin/rpc.statd --no-notify $STATDARGS (code=exited, status=0/SUCCESS)
     Main PID: 26476 (rpc.statd)
        Tasks: 1 (limit: 7372)
       CGroup: /system.slice/rpc-statd.service
               └─26476 /sbin/rpc.statd --no-notify --port 32765 --outgoing-port 32766
     
    Aug 16 03:15:13 filer systemd[1]: Starting NFS status monitor for NFSv2/3 locking....
    Aug 16 03:15:13 filer rpc.statd[26476]: Version 1.3.3 starting
    Aug 16 03:15:13 filer rpc.statd[26476]: Flags: TI-RPC
    Aug 16 03:15:13 filer rpc.statd[26476]: Failed to read /var/lib/nfs/state: Success
    Aug 16 03:15:13 filer rpc.statd[26476]: Initializing NSM state
    Aug 16 03:15:13 filer systemd[1]: Started NFS status monitor for NFSv2/3 locking..
     
    [03:19:03] root@filer:~# ps -ef | grep -i statd
    statd    26476     1  0 03:15 ?        00:00:00 /sbin/rpc.statd --no-notify --port 32765 --outgoing-port 32766
    root     41688  1884  0 03:19 pts/0    00:00:00 grep --color=auto -i statd

Voilà

Voici l'uptime précédent du serveur de fichiers :

Code : Tout sélectionner

[02:06:45] root@filer:~# uptime
 02:07:27 up 698 days, 21:31,  2 users,  load average: 4.83, 4.38, 3.43

Nous sommes maintenant sur un kernel entièrement à jour :

Code : Tout sélectionner

[03:22:13] root@filer:~# uname -a
Linux filer 4.9.0-3-amd64 #1 SMP Debian 4.9.30-2+deb9u3 (2017-08-06) x86_64 GNU/Linux

[03:29:31] root@filer:~# uptime
 03:29:39 up  1:06,  1 user,  load average: 0.55, 0.54, 0.99

Les services sont maintenant pleinement opérationnels et il y a eu une indisponibilité de seulement 6 minutes ! Un record pour ce type de maintenance

[Bubafet540]

Et la maintenance elle es fini non ? parce que mon site et toujours en maintenance .

[Elodie]

Et la maintenance elle es fini non ? parce que mon site et toujours en maintenance .

La maintenance est terminée, peut être est-ce un cache navigateur de votre coté ? Ctrl+F5 pour forcer le rafraichissement. Quelle est l'adresse de votre site pour que je vérifie ?

[Bubafet540]

L'adresse de mon site web : https://altis-of-life.fr/

[Elodie]

Problème corrigé, surement un résidu des lockd défectueux corrigés précédemment.

[Bubafet540]

D'accord merci beaucoup élodie

[Elodie]

Les statistiques AwStats ne fonctionnaient plus depuis le redémarrage de la machine. On me l'a fait savoir aujourd'hui. Le problème est maintenant corrigé.