The infrastructure is slow or down
Incident Report for Petal - Xacte
Postmortem

Le 14 septembre 2021 à 11:31, une courte panne de base de données est survenue affectant toute la plate-forme durant 2 minutes.

Une détection très rapide de l’incident nous a permis de rediriger le traffic très rapidement sur la base de donnée de secours sans perdre de données.

Après investigation, nous observons que l’effet sur l’infrastructure a été le même que durant la panne du 10 septembre mais que la cause était différente. Les informations récoltées ne nous permet pas pas d’identifier une cause unique, mais plutôt une liste de causes potentielles.

Une série d'actions ont été entreprises pour limiter au maximum le risque d’une éventuelle instabilité. A titre de mesure préventive un retour en arrière de la version du système de gestion des bases de données a été faite, mais nous continuons de suivre la situation de près.


On September 14 2021 at 11:31, a short outage occurred impacting the entire platform for 2 minutes.

A quick incident detection allowed us to redirect all traffic to the backup database without any data loss.

The investigation concludes that the effect on the systems was the same as the outage on September 10, but the cause was different. The gathered information noes not draw a clear portrait of the root cause, but rather a list of potential problems.

A series of actions were launched to limit eventual instabilities to a minimum. As a preventive measure, a rollback to a previous database cluster software version was made, but we will continue to monitor the situation closely.

Posted Sep 16, 2021 - 09:56 EDT

Resolved
This incident has been resolved. All applications should be responsive.
Posted Sep 14, 2021 - 11:42 EDT
Monitoring
A fix has been implemented and we are monitoring the results.
Posted Sep 14, 2021 - 11:34 EDT
Investigating
Our monitoring system has detected an issue. We are currently investigating and will follow up shortly. The Petal application may be slow or unresponsive at this time.
Posted Sep 14, 2021 - 11:32 EDT
This incident affected: Petal Applications (Login, Scheduling, Secure messaging, On-Call, Booking, Mobile, Api).