Dashboard

Il est 2 h 14 et le checkout échoue. À 2 h 15, l'enquête tourne.

Rejoindre la liste d'attente

Une alerte se déclenche. Polylane la prend en charge. Réelle ou bruit : la réponse en moins d'une minute.

Issues Elevated error rate on payments-api Timeline

Elevated error rate on payments-api

High Incident ·Detected from a Datadog alert
OverviewMetricsLogsTracesTimelinePropertiesInvestigation
  1. 02:14:07 Alert received

    Datadog · payments-api error rate · occurrence #1

  2. 02:14:09 Triage started

    Fetching the monitor query and metrics 30 min before, 5 min after the firing.

  3. 02:14:58 Triaged as an incident

    Severity high. Error rate 41× the 30-minute baseline, clustered on POST /v1/charges; deploy f3a9c12 landed 18 minutes before the firing.

  4. 02:15:02 Investigation started

    3 hypotheses · 3 passes each

  5. 02:31:44 Alert fired again (occurrence #2)

    Folded into this issue after 16 quiet minutes; the running investigation was nudged.

  6. 03:06:12 Alert recovered

    Provider recovery received. Issue resolved.

Il creuse jusqu'à pouvoir le prouver. Des hypothèses plaidées des deux côtés, des verdicts qui exigent des preuves.

Threads Critical latency degradation in checkout-edge worker Share

What I did

I queued an autofix that restores the Hyperdrive pool hd-prod in the coreplane/checkout-edge repo with:

  • max_connections restored from 5 to 50 on the pool binding
  • a regression test that fails when checkout queues on the pool
  • wrangler.jsonc configured to deploy as checkout-edge

This gives Boris a PR with deployable code. Once merged, running wrangler deploy will replace the degraded worker with the fixed version.

The root cause report has been updated with the occurrence #2 evidence: Root Cause: checkout-edge Latency Degradation (Recurring).

Wall Time
checkout-edge worker · last hour
Export chart
Wall Time P99
28,381ms
Wall Time P95
2,696ms
Wall Time P50
118ms
010k20k30k
18:0018:2519:00
Worked for 4m 12s

AI can make mistakes. Please double check cited sources.

Dig deeper...

L'incident se termine par un correctif, pas par une réunion de suivi. Cause racine trouvée, correctif écrit, prêt pour ta revue.

github.com/coreplane/payments-api/pull/491

Cap retries on the checkout webhook worker #491

polylane
Open polylane wants to merge 1 commit into main from polylane/autofix/chat/k3x9f2-4e7d21a
Conversation 1 Commits 1 Checks 1 Files changed 2
polylane bot commented 6 minutes ago ···

Retries on the checkout webhook worker were unbounded: a failing delivery re-queued itself forever and amplified load on payments-api. This caps delivery at 5 attempts with exponential backoff and dead-letters the payload after the last one.

What changed

worker/deliver.ts gains MAX_DELIVERY_ATTEMPTS = 5 and backoff between attempts; exhausted payloads land in checkout-webhooks-dlq instead of re-queueing.

Validation

npm test — 214 passed. A forced failing delivery stopped after 5 attempts and appeared in the dead-letter queue.

Root cause · Why it's safe · Out of scope
polylane added commit 4e7d21a Verified
Review required At least 1 approving review is required
ci / test Successful in 3m 12s Details
Review required Waiting on your review: Polylane never merges on its own
Merging is blocked

Comment Polylane fonctionne. Il apprend ton système, le surveille, enquête et agit.

  • Il apprend d'abord ton système

    Le graphe de contexte cartographie chaque ressource et chaque dépendance à travers tes clouds, tes dépôts et tes fournisseurs d'observabilité. Les agents raisonnent sur une topologie réelle, pas sur des suppositions.

  • Détection sans seuils

    Des vérifications intégrées pour chaque fournisseur, plus des vérifications générées à partir de tes propres requêtes enregistrées et de tes dashboards. Une passe statistique et un agent décident ensemble, et une amélioration ne lève jamais d'issue.

  • Des enquêtes qui montrent leurs preuves

    Chaque affirmation renvoie à la requête, à la ligne de log ou à l'enregistrement de changement qui la fonde. Un verdict sans preuves retombe sur non concluant.

  • Les écritures se méritent, jamais présumées

    Les comptes se connectent en lecture seule. Les rollbacks sont désactivés par défaut, limités en fréquence et consignés. Les changements de code passent par ta revue habituelle.

  • Il s'affûte chaque semaine

    Mémoires, notes quotidiennes et requêtes de supervision reconfirmées contre des données réelles : l'enquête de juillet apprend de celle de juin.

Il se branche sur ce que tu fais déjà tourner. Connecte en lecture seule et commence.

Questions.

Polylane me réveille-t-il ?

Ce n'est pas un pager et il n'essaie pas d'en être un. Polylane notifie par e-mail, Slack et la console, et seulement pour les issues de sévérité critique et haute qu'il a détectées lui-même. L'objectif est moins de réveils : l'issue arrive déjà enquêtée.

Que se passe-t-il quand une issue est détectée la nuit ?

Le triage confirme qu'elle est réelle, une enquête démarre toute seule, et les hypothèses sont testées en parallèle contre ta télémétrie réelle. Au matin, l'issue a un verdict, les preuves derrière lui et des prochaines étapes suggérées ; là où l'autofix est activé, le correctif est déjà écrit et attend ta revue.

Quelles sources d'alertes Polylane ingère-t-il ?

Datadog, Honeycomb, Axiom, Grafana Cloud, Better Stack, Sentry, CloudWatch, Vercel, Render et Cloudflare, plus un webhook générique pour tout le reste. Chaque source s'authentifie avec un token de télémétrie à scope limité, et chaque déclenchement devient une issue triée.

Et si Polylane qualifie un vrai incident de bruit ?

« Pas d'incident » est un verdict, pas une suppression : l'issue reste dans la console avec le raisonnement joint, et tu peux lancer une enquête sur n'importe quoi en un clic. Les verdicts exigent des preuves, et une enquête qui n'a pas pu atteindre les données ne confirme jamais.

Combien d'enquêtes va-t-il lancer ?

Les enquêtes automatiques sont plafonnées par période glissante de 24 heures : 10 sur le forfait Free, ton propre plafond sur les forfaits payants. Les démarrages manuels ne comptent jamais. Les tarifs sont publics sur polylane.com/pricing.

Plus de cas d'usage

Confie les nuits aux agents. Garde les matins.