Les services ont été indisponibles pendant 52 minutes suite à une panne matérielle.

[Elodie]

Bonjour,

Les services FSH ont été indisponibles aujourd'hui pendant 52 minutes (de 17h29 à 18h21) suite à une panne matérielle sur les ventilateurs de la machine MySQL/MariaDB. La supervision de la machine a détecté 2 ventilateurs comme étant défaillants et a empêché le (re)démarrage de la machine (en forçant son arrêt) par mesure de sécurité.




Les techniciens au datacenter sont intervenus pour changer les ventilateurs défectueux.

Le problème est maintenant résolu.

Merci à tout le monde pour votre patience.

[Elodie]

Bonsoir,

La même panne matérielle s'est reproduite ce soir, occasionnant une interruption des services pendant 17 minutes. La machine s'est arrêtée automatiquement et a redémarré en boucle 6 fois de suite jusqu'à pouvoir se relancer entièrement.

Au moment du black out, les 2 mêmes ventilateurs (FAN6 et FAN7) étaient signalés comme non fonctionnels et empêchaient le démarrage complet de la machine. Mais sans aucune intervention physique sur la machine, un des 2 ventilateurs s'est remis à fonctionner, rendant possible, cette fois-ci, le démarrage complet de la machine.

J'ai signalé le problème aux équipes Data Center afin de trouver une solution.

Un nouveau redémarrage de la machine MySQL/MariaDB sera effectué dans moins de 3 heures (à 1 heure du matin, heure de Paris) dans le but, dans un premier temps, de mettre à jour le BIOS et le BMC du système. Ce redémarrage occasionnera une indisponibilité à nouveau de tous les services pour maintenance.

Je reviens vers vous dès que j'ai plus d'informations à vous apporter.

[Elodie]

Bonjour,

Après une nuit de perturbations (6 heures et 45 minutes), le problème est maintenant résolu.

Les 2 ventilateurs défaillants ont été remplacés :





Voici le déroulé de ce qui s'est passé cette nuit :

• 19/11/2023 à 21:18 : Les équipes au datacenter sont informés du problème (2 ventilateurs défaillants, je demande leurs remplacements).
• 19/11/2023 à 21:42 : Retour par "magie" de la machine (plus qu'un seul FAN défaillant), les équipes au datacenter planifient une MAJ du BIOS/BMC.
• 20/11/2023 à 01:00 : Redémarrage de la machine pour MAJ, après 20 minutes et les 2 FAN défaillants, elle revient avec plus qu'un et même FAN défaillant.
• 20/11/2023 à 02:51 : La machine MySQL/MariaDB crash à nouveau en raison des 2 mêmes ventilateurs, j'attends un retour des équipes au datacenter...
• 20/11/2023 à 03:11 : Retour à nouveau par "magie" de la machine (plus qu'un seul et même FAN défaillant)...
• 20/11/2023 à 04:01 : La machine crash à nouveau.
• 20/11/2023 à 07:24 : Je redémarre la machine à mon réveil, toujours pas de retour des équipes DC.
• 20/11/2023 à 07:50 : La machine crash à nouveau...
• 20/11/2023 à 09:15 : Les équipes de jour au DC sont en train de vérifier si la MAJ résout l'éventuel faux positif ou s'il faut remplacer les 2 ventilateurs.
• 20/11/2023 à 09:24 : Une intervention est déclenchée par les équipes au datacenter pour remplacer les 2 ventilateurs défaillants.
• 20/11/2023 à 09:40 : Les 2 ventilateurs ont été remplacés, la machine est de nouveau en ligne et tous les services sont fonctionnels.