[Résolu] Situation préoccupante pour le serveur MySQL / MariaDB

Les annonces officielles de FranceServ Hébergement.
Répondre
Avatar du membre
Elodie
Messages : 7739
Enregistré le : 2 avril 2010 à 20:14

Bonjour,

C'est en toute transparence que je vous informe que l'état des disques dur de la machine du serveur MySQL / MariaDB sont déclarés comme étant prochainement défaillants (Predictive Failure).

Les techniciens au Datacenter ont déjà été prévenus et une vérification de stock sur ce type de disques durs a été lancée. Une opération de remplacement sera alors planifiée une nuit (en début de nuit) dès que possible.

Les 3 disques dur vont ainsi être remplacés et comme ils sont en RAID 5 (Matériel HP Gen8), il va être possible de les remplacer 1 par un afin d'éviter une interruption de service. Cette opération de remplacement et notamment de reconstruction du RAID vas probablement ralentir légèrement les services le temps que le RAID soit reconstruit à neuf.

Sachez également que pendant cette reconstruction du RAID il n'est pas impossible que l'ensemble des disques SQL lâchent en même temps et que cela puisse rendre indisponible tous les services FSH. C'est pourquoi cette opération aura lieu dans la nuit et que je vais lancer régulièrement en journée et à la main des sauvegardes SQL le temps que les 3 disques durs soient remplacés.

Habituellement des sauvegardes sont effectuées tous les jours à 2h du matin par BorgBackup et tout est fonctionnel de son côté.

Pour le moment tous les services fonctionnent correctement mais il n'est pas impossible d'avoir quelques ralentissements ou soubresauts sur l'ensemble des services (HTTP/HTTPS principalement).

Il n'est pas non plus impossible que la machine SQL lâche à tout moment et que tout soit DOWN pendant quelques heures, le temps de remplacer tous les disques (cette fois-ci en même temps), réinstaller la machine et réinjecter les dernières sauvegardes SQL, mais nous n'en sommes pas là.

Au vu de la situation actuelle, j'ai désactivé temporairement tous les robots SQL s'occupant de l'optimisation des bases SQL et de calculs d'espace disque SQL.

Je reviens vers vous dès qu'il y a du nouveau et j'épingle ce sujet de discussion.

PS. Les disques avaient un peu plus de 6 ans de durée de fonctionnement et pour information les sauvegardes sont effectués à l'aide de BorgBackup qui est un puissant mécanisme de sauvegarde avec un système de fichiers dé-dupliqué déporté sur une autre machine de manière sécurisée.
Vous avez une question ? Posez-la de préférence sur le forum et si ça demande un contact plus instantané, n'hésitez pas à vous rendre sur le t'chat IRC. Si votre question est personnelle, contactez-nous directement.
Huntingdeath789
Messages : 5
Enregistré le : 2 mars 2015 à 21:42

Bon courage Elodie
Avatar du membre
Elodie
Messages : 7739
Enregistré le : 2 avril 2010 à 20:14

Merci huntingdeath789.

Les trois disques sont prêts, l'équipe de cette nuit remplacera un premier disque vers 1h du matin pour commencer.
Vous avez une question ? Posez-la de préférence sur le forum et si ça demande un contact plus instantané, n'hésitez pas à vous rendre sur le t'chat IRC. Si votre question est personnelle, contactez-nous directement.
Avatar du membre
Elodie
Messages : 7739
Enregistré le : 2 avril 2010 à 20:14

Le premier disque dur de la machine MySQL/MariaDB vient d'être remplacé, la reconstruction du RAID 5 est en cours, on peut déjà ressentir un léger ralentissement des services HTTP/HTTPS mais c'est normal et c'est temporaire.

Je reviens vers vous dès qu'il y a du nouveau.
Vous avez une question ? Posez-la de préférence sur le forum et si ça demande un contact plus instantané, n'hésitez pas à vous rendre sur le t'chat IRC. Si votre question est personnelle, contactez-nous directement.
Avatar du membre
Elodie
Messages : 7739
Enregistré le : 2 avril 2010 à 20:14

Le premier disque dur a été remplacé avec succès, c'est maintenant au tour du second disque d'être remplacé.
Vous avez une question ? Posez-la de préférence sur le forum et si ça demande un contact plus instantané, n'hésitez pas à vous rendre sur le t'chat IRC. Si votre question est personnelle, contactez-nous directement.
Avatar du membre
Elodie
Messages : 7739
Enregistré le : 2 avril 2010 à 20:14

Le second disque dur a été remplacé avec succès, c'est maintenant au tour du troisième disque d'être remplacé.
Vous avez une question ? Posez-la de préférence sur le forum et si ça demande un contact plus instantané, n'hésitez pas à vous rendre sur le t'chat IRC. Si votre question est personnelle, contactez-nous directement.
Avatar du membre
Elodie
Messages : 7739
Enregistré le : 2 avril 2010 à 20:14

Le troisième et dernier disque dur a été remplacé avec succès.

L'état du RAID est maintenant pleinement fonctionnel et il n'y a eu aucune indisponibilité des services ni aucune perte de données. :)
Vous avez une question ? Posez-la de préférence sur le forum et si ça demande un contact plus instantané, n'hésitez pas à vous rendre sur le t'chat IRC. Si votre question est personnelle, contactez-nous directement.
Tilde3
Messages : 467
Enregistré le : 19 octobre 2011 à 13:11

Bravo, et merci de nous en avoir informés! Bonne continuation.
Répondre