Le 14 septembre 2021 à 11:31, une courte panne de base de données est survenue affectant toute la plate-forme durant 2 minutes.
Une détection très rapide de l’incident nous a permis de rediriger le traffic très rapidement sur la base de donnée de secours sans perdre de données.
Après investigation, nous observons que l’effet sur l’infrastructure a été le même que durant la panne du 10 septembre mais que la cause était différente. Les informations récoltées ne nous permet pas pas d’identifier une cause unique, mais plutôt une liste de causes potentielles.
Une série d'actions ont été entreprises pour limiter au maximum le risque d’une éventuelle instabilité. A titre de mesure préventive un retour en arrière de la version du système de gestion des bases de données a été faite, mais nous continuons de suivre la situation de près.
On September 14 2021 at 11:31, a short outage occurred impacting the entire platform for 2 minutes.
A quick incident detection allowed us to redirect all traffic to the backup database without any data loss.
The investigation concludes that the effect on the systems was the same as the outage on September 10, but the cause was different. The gathered information noes not draw a clear portrait of the root cause, but rather a list of potential problems.
A series of actions were launched to limit eventual instabilities to a minimum. As a preventive measure, a rollback to a previous database cluster software version was made, but we will continue to monitor the situation closely.