[Terminé] Maintenance des services à 2 heures du matin (Paris)

elodie · 15/08/2017 11:03:31

Bonjour,

Cette nuit à partir de 2 heures du matin (heure de Paris), le serveur de fichiers vas être mis à jour et être redémarré, occasionnant une indisponibilité temporaire des services pendant quelques minutes à une petite heure.

Le dernier redémarrage du serveur de fichiers a eu lieu il y a près de 2 ans (698 jours) et est nécessaire pour l'application des différents correctifs de sécurité sur le kernel Linux.

Nous passerons de la branche de Debian 8 "Jessie" à la dernière version 9 Debian 9 "Stretch", disponible depuis près de 2 mois.

Merci de votre compréhension.

elodie · 16/08/2017 00:56:41

Bonjour,

Il sera 2 heure du matin dans un peu moins de 5 minutes, c'est alors avec un mal de tête (problème aux dents) que je vais commencer la maintenance sur le serveur de fichiers.

Cette maintenance vas rendre temporairement indisponible tous les services, les mails seront délivrés après la remise en fonction des outils à la normales.

Je commence les préparatifs ...

elodie · 16/08/2017 01:26:29

elodie a écrit :

Cette maintenance vas rendre temporairement indisponible tous les services, les mails seront délivrés après la remise en fonction des outils à la normales.

Les services ont été coupés à 2h19 et sont revenus à l'instant à 2h25.
Je suis en train de vérifier tous les services ...

elodie · 16/08/2017 02:29:59

Je viens de passer un peu de temps à corriger un petit problème NFS sur le service rpc-statd pour qu'il puisse se lancer via Systemd.

Techniquement :

Le service /sbin/rpc.statd ne tournait pas dans les processus :

    [***] root@filer:~# ps -ef | grep -i statd
    root     41688  1884  0 03:19 pts/0    00:00:00 grep --color=auto -i statd

J'avais alors des soucis de verrous multi-accès sur l'espace NFS depuis les différents noeuds :

Aug 16 02:44:07 localhost kernel: [ 1265.796323] lockd: cannot monitor web3
Aug 16 02:44:14 localhost kernel: [ 1271.944748] lockd: cannot monitor web2
Aug 16 02:44:20 localhost kernel: [ 1278.085290] lockd: cannot monitor web1
Aug 16 02:44:26 localhost kernel: [ 1284.229407] lockd: cannot monitor web3
Aug 16 02:44:32 localhost kernel: [ 1290.374061] lockd: cannot monitor web2
Aug 16 02:44:38 localhost kernel: [ 1296.518460] lockd: cannot monitor web1

et un démarrage en manuel ne fonctionnait pas non plus :

    [03:07:11] root@filer:~# service start rpc-statd.service
    Failed to start rpc-statd.service.service: Unit rpc-statd.service.service not found.

J'ai alors procédé ainsi :

    [03:14:29] root@filer:~# systemctl add-wants multi-user.target rpcbind.service
     
    [03:15:01] root@filer:~# systemctl status rpc-statd.service
    ● rpc-statd.service - NFS status monitor for NFSv2/3 locking.
       Loaded: loaded (/lib/systemd/system/rpc-statd.service; disabled; vendor preset: enabled)
       Active: inactive (dead)
     
    [03:15:06] root@filer:~# systemctl start rpc-statd.service
     
    [03:15:13] root@filer:~# systemctl status rpc-statd.service
    ● rpc-statd.service - NFS status monitor for NFSv2/3 locking.
       Loaded: loaded (/lib/systemd/system/rpc-statd.service; disabled; vendor preset: enabled)
       Active: active (running) since Wed 2017-08-16 03:15:13 CEST; 1s ago
      Process: 26466 ExecStart=/sbin/rpc.statd --no-notify $STATDARGS (code=exited, status=0/SUCCESS)
     Main PID: 26476 (rpc.statd)
        Tasks: 1 (limit: 7372)
       CGroup: /system.slice/rpc-statd.service
               └─26476 /sbin/rpc.statd --no-notify --port 32765 --outgoing-port 32766
     
    Aug 16 03:15:13 filer systemd[1]: Starting NFS status monitor for NFSv2/3 locking....
    Aug 16 03:15:13 filer rpc.statd[26476]: Version 1.3.3 starting
    Aug 16 03:15:13 filer rpc.statd[26476]: Flags: TI-RPC
    Aug 16 03:15:13 filer rpc.statd[26476]: Failed to read /var/lib/nfs/state: Success
    Aug 16 03:15:13 filer rpc.statd[26476]: Initializing NSM state
    Aug 16 03:15:13 filer systemd[1]: Started NFS status monitor for NFSv2/3 locking..
     
    [03:19:03] root@filer:~# ps -ef | grep -i statd
    statd    26476     1  0 03:15 ?        00:00:00 /sbin/rpc.statd --no-notify --port 32765 --outgoing-port 32766
    root     41688  1884  0 03:19 pts/0    00:00:00 grep --color=auto -i statd

Voilà

Voici l'uptime précédent du serveur de fichiers :

[02:06:45] root@filer:~# uptime
 02:07:27 up 698 days, 21:31,  2 users,  load average: 4.83, 4.38, 3.43

Nous sommes maintenant sur un kernel entièrement à jour :

[03:22:13] root@filer:~# uname -a
Linux filer 4.9.0-3-amd64 #1 SMP Debian 4.9.30-2+deb9u3 (2017-08-06) x86_64 GNU/Linux

[03:29:31] root@filer:~# uptime
 03:29:39 up  1:06,  1 user,  load average: 0.55, 0.54, 0.99

Les services sont maintenant pleinement opérationnels et il y a eu une indisponibilité de seulement 6 minutes ! Un record pour ce type de maintenance

bubafet540 · 16/08/2017 03:07:44

Et la maintenance elle es fini non ? parce que mon site et toujours en maintenance .

elodie · 16/08/2017 03:10:46

bubafet540 a écrit :

Et la maintenance elle es fini non ? parce que mon site et toujours en maintenance .

La maintenance est terminée, peut être est-ce un cache navigateur de votre coté ? Ctrl+F5 pour forcer le rafraichissement. Quelle est l'adresse de votre site pour que je vérifie ?

bubafet540 · 16/08/2017 03:11:49

L'adresse de mon site web : https://altis-of-life.fr/

elodie · 16/08/2017 03:19:12

Problème corrigé, surement un résidu des lockd défectueux corrigés précédemment.

bubafet540 · 16/08/2017 03:20:28

D'accord merci beaucoup élodie

elodie · 22/08/2017 11:23:10

Les statistiques AwStats ne fonctionnaient plus depuis le redémarrage de la machine. On me l'a fait savoir aujourd'hui. Le problème est maintenant corrigé.

FranceServ Hébergement - www.franceserv.fr - forum

Annonce

#1 15/08/2017 11:03:31

[Terminé] Maintenance des services à 2 heures du matin (Paris)

#2 16/08/2017 00:56:41

Re : [Terminé] Maintenance des services à 2 heures du matin (Paris)

#3 16/08/2017 01:26:29

Re : [Terminé] Maintenance des services à 2 heures du matin (Paris)

#4 16/08/2017 02:29:59

Re : [Terminé] Maintenance des services à 2 heures du matin (Paris)

#5 16/08/2017 03:07:44

Re : [Terminé] Maintenance des services à 2 heures du matin (Paris)

#6 16/08/2017 03:10:46

Re : [Terminé] Maintenance des services à 2 heures du matin (Paris)

#7 16/08/2017 03:11:49

Re : [Terminé] Maintenance des services à 2 heures du matin (Paris)

#8 16/08/2017 03:19:12

Re : [Terminé] Maintenance des services à 2 heures du matin (Paris)

#9 16/08/2017 03:20:28

Re : [Terminé] Maintenance des services à 2 heures du matin (Paris)

#10 22/08/2017 11:23:10

Re : [Terminé] Maintenance des services à 2 heures du matin (Paris)

Pied de page des forums