Dashboard

Sono le 2:14 di notte e il checkout non funziona. Alle 2:15 l'indagine è già in corso.

Iscriviti alla lista d'attesa

Scatta un alert. Polylane lo raccoglie. Vero o rumore: risposta in meno di un minuto.

Issues Elevated error rate on payments-api Timeline

Elevated error rate on payments-api

High Incident ·Detected from a Datadog alert
OverviewMetricsLogsTracesTimelinePropertiesInvestigation
  1. 02:14:07 Alert received

    Datadog · payments-api error rate · occurrence #1

  2. 02:14:09 Triage started

    Fetching the monitor query and metrics 30 min before, 5 min after the firing.

  3. 02:14:58 Triaged as an incident

    Severity high. Error rate 41× the 30-minute baseline, clustered on POST /v1/charges; deploy f3a9c12 landed 18 minutes before the firing.

  4. 02:15:02 Investigation started

    3 hypotheses · 3 passes each

  5. 02:31:44 Alert fired again (occurrence #2)

    Folded into this issue after 16 quiet minutes; the running investigation was nudged.

  6. 03:06:12 Alert recovered

    Provider recovery received. Issue resolved.

Scava finché non può dimostrarlo. Ipotesi discusse da entrambe le parti, verdetti che richiedono prove.

Threads Critical latency degradation in checkout-edge worker Share

What I did

I queued an autofix that restores the Hyperdrive pool hd-prod in the coreplane/checkout-edge repo with:

  • max_connections restored from 5 to 50 on the pool binding
  • a regression test that fails when checkout queues on the pool
  • wrangler.jsonc configured to deploy as checkout-edge

This gives Boris a PR with deployable code. Once merged, running wrangler deploy will replace the degraded worker with the fixed version.

The root cause report has been updated with the occurrence #2 evidence: Root Cause: checkout-edge Latency Degradation (Recurring).

Wall Time
checkout-edge worker · last hour
Export chart
Wall Time P99
28,381ms
Wall Time P95
2,696ms
Wall Time P50
118ms
010k20k30k
18:0018:2519:00
Worked for 4m 12s

AI can make mistakes. Please double check cited sources.

Dig deeper...

L'incidente finisce con un fix, non con una riunione di follow-up. Causa radice trovata, fix scritto, pronto per la tua review.

github.com/coreplane/payments-api/pull/491

Cap retries on the checkout webhook worker #491

polylane
Open polylane wants to merge 1 commit into main from polylane/autofix/chat/k3x9f2-4e7d21a
Conversation 1 Commits 1 Checks 1 Files changed 2
polylane bot commented 6 minutes ago ···

Retries on the checkout webhook worker were unbounded: a failing delivery re-queued itself forever and amplified load on payments-api. This caps delivery at 5 attempts with exponential backoff and dead-letters the payload after the last one.

What changed

worker/deliver.ts gains MAX_DELIVERY_ATTEMPTS = 5 and backoff between attempts; exhausted payloads land in checkout-webhooks-dlq instead of re-queueing.

Validation

npm test — 214 passed. A forced failing delivery stopped after 5 attempts and appeared in the dead-letter queue.

Root cause · Why it's safe · Out of scope
polylane added commit 4e7d21a Verified
Review required At least 1 approving review is required
ci / test Successful in 3m 12s Details
Review required Waiting on your review: Polylane never merges on its own
Merging is blocked

Come funziona Polylane. Impara il tuo sistema, lo osserva, indaga e agisce.

  • Prima impara il tuo sistema

    Il grafo di contesto ricostruisce ogni risorsa e dipendenza tra i tuoi cloud, i repository e i provider di observability. Gli agenti ragionano sulla topologia reale, non su ipotesi.

  • Rilevamento senza soglie

    Controlli integrati per ogni provider, più controlli generati dalle tue query salvate e dalle tue dashboard. Un passaggio statistico e un agente decidono insieme, e un miglioramento non apre mai una issue.

  • Indagini che mostrano le prove

    Ogni affermazione rimanda alla query, alla riga di log o al record di modifica che la sostiene. Un verdetto senza prove ricade su inconcludente.

  • Le scritture si guadagnano, mai presunte

    Gli account si collegano in sola lettura. I rollback sono disattivati per impostazione predefinita, con un limite di frequenza e registrati. Le modifiche al codice passano dalla tua review abituale.

  • Diventa più preciso ogni settimana

    Memorie, note giornaliere e query di monitoraggio riconfermate sui dati reali: l'indagine di luglio impara da quella di giugno.

Si innesta su quello che già usi. Collega in sola lettura e inizia.

Domande.

Polylane mi sveglia con un page?

Non è un pager e non cerca di esserlo. Polylane notifica via email, Slack e console, e solo per le issue di gravità critica e alta che ha rilevato da solo. L'obiettivo sono meno risvegli: la issue arriva già indagata.

Cosa succede quando una issue viene rilevata di notte?

Il triage conferma che è reale, un'indagine parte da sola e le ipotesi vengono messe alla prova in parallelo sulla tua telemetria reale. Al mattino la issue ha un verdetto, le prove a sostegno e i passi successivi suggeriti; dove l'autofix è abilitato, il fix è già scritto e in attesa di review.

Quali sorgenti di alert ingerisce Polylane?

Datadog, Honeycomb, Axiom, Grafana Cloud, Better Stack, Sentry, CloudWatch, Vercel, Render e Cloudflare, più un webhook generico per tutto il resto. Ogni sorgente si autentica con un token di telemetria con scope limitato, e ogni scatto diventa una issue sottoposta a triage.

E se Polylane classifica come rumore un incidente vero?

'Nessun incidente' è un verdetto, non un'eliminazione: la issue resta nella console con il ragionamento allegato, e puoi avviare un'indagine su qualsiasi cosa con un clic. I verdetti richiedono prove, e un'indagine che non è riuscita a raggiungere i dati non conferma mai.

Quante indagini eseguirà?

Le indagini automatiche hanno un tetto ogni 24 ore mobili: 10 sul piano Free, un tetto scelto da te sui piani a pagamento. Gli avvii manuali non contano mai. I prezzi sono pubblici su polylane.com/pricing.

Altri casi d'uso

Affida le notti agli agenti. Tieniti le mattine.