Dashbord

Det er 02:14 og checkout feiler. Klokken 02:15 er undersøkelsen i gang.

Bli med på ventelisten

Et varsel utløses. Polylane tar det. Ekte eller støy: besvart på under et minutt.

Issues Elevated error rate on payments-api Timeline

Elevated error rate on payments-api

High Incident ·Detected from a Datadog alert
OverviewMetricsLogsTracesTimelinePropertiesInvestigation
  1. 02:14:07 Alert received

    Datadog · payments-api error rate · occurrence #1

  2. 02:14:09 Triage started

    Fetching the monitor query and metrics 30 min before, 5 min after the firing.

  3. 02:14:58 Triaged as an incident

    Severity high. Error rate 41× the 30-minute baseline, clustered on POST /v1/charges; deploy f3a9c12 landed 18 minutes before the firing.

  4. 02:15:02 Investigation started

    3 hypotheses · 3 passes each

  5. 02:31:44 Alert fired again (occurrence #2)

    Folded into this issue after 16 quiet minutes; the running investigation was nudged.

  6. 03:06:12 Alert recovered

    Provider recovery received. Issue resolved.

Den graver til den kan bevise det. Hypoteser argumentert fra begge sider, konklusjoner som krever bevis.

Threads Critical latency degradation in checkout-edge worker Share

What I did

I queued an autofix that restores the Hyperdrive pool hd-prod in the coreplane/checkout-edge repo with:

  • max_connections restored from 5 to 50 on the pool binding
  • a regression test that fails when checkout queues on the pool
  • wrangler.jsonc configured to deploy as checkout-edge

This gives Boris a PR with deployable code. Once merged, running wrangler deploy will replace the degraded worker with the fixed version.

The root cause report has been updated with the occurrence #2 evidence: Root Cause: checkout-edge Latency Degradation (Recurring).

Wall Time
checkout-edge worker · last hour
Export chart
Wall Time P99
28,381ms
Wall Time P95
2,696ms
Wall Time P50
118ms
010k20k30k
18:0018:2519:00
Worked for 4m 12s

AI can make mistakes. Please double check cited sources.

Dig deeper...

Hendelsen ender med en fiks, ikke et oppfølgingsmøte. Rotårsak funnet, fiks skrevet, klar til gjennomgangen din.

github.com/coreplane/payments-api/pull/491

Cap retries on the checkout webhook worker #491

polylane
Open polylane wants to merge 1 commit into main from polylane/autofix/chat/k3x9f2-4e7d21a
Conversation 1 Commits 1 Checks 1 Files changed 2
polylane bot commented 6 minutes ago ···

Retries on the checkout webhook worker were unbounded: a failing delivery re-queued itself forever and amplified load on payments-api. This caps delivery at 5 attempts with exponential backoff and dead-letters the payload after the last one.

What changed

worker/deliver.ts gains MAX_DELIVERY_ATTEMPTS = 5 and backoff between attempts; exhausted payloads land in checkout-webhooks-dlq instead of re-queueing.

Validation

npm test — 214 passed. A forced failing delivery stopped after 5 attempts and appeared in the dead-letter queue.

Root cause · Why it's safe · Out of scope
polylane added commit 4e7d21a Verified
Review required At least 1 approving review is required
ci / test Successful in 3m 12s Details
Review required Waiting on your review: Polylane never merges on its own
Merging is blocked

Slik fungerer Polylane. Den lærer systemet ditt, følger med på det, undersøker og handler.

  • Den lærer systemet ditt først

    Kontekstgrafen kartlegger hver ressurs og avhengighet på tvers av skyene, repositoriene og observerbarhetsleverandørene dine. Agenter resonnerer over faktisk topologi, ikke gjetninger.

  • Deteksjon uten terskler

    Innebygde sjekker for hver leverandør, pluss sjekker generert fra dine egne lagrede spørringer og dashbord. En statistisk gjennomgang og en agent avgjør sammen, og en forbedring reiser aldri et issue.

  • Undersøkelser som viser belegg

    Hver påstand lenker tilbake til spørringen, logglinjen eller endringsoppføringen bak den. En konklusjon uten bevis faller tilbake til uavklart.

  • Skriving må gjøres fortjent, aldri antas

    Kontoer kobles til skrivebeskyttet. Rollbacks er av som standard, ratebegrenset og dokumentert. Kodeendringer går gjennom den vanlige gjennomgangen din.

  • Den blir skarpere hver uke

    Minner, dagsnotater og overvåkingsspørringer bekreftet på nytt mot ekte data: julis undersøkelse lærer av junis.

Den kobler seg på det du allerede kjører. Koble til skrivebeskyttet og start.

Spørsmål.

Vekker Polylane meg?

Den er ikke en vakttelefon og prøver ikke å være det. Polylane varsler over e-post, Slack og konsollen, og bare for issues med kritisk og høy alvorlighetsgrad som den selv oppdaget. Målet er færre oppvåkninger: issuet kommer allerede undersøkt.

Hva skjer når et issue oppdages om natten?

Triagen bekrefter at det er ekte, en undersøkelse starter på egen hånd, og hypoteser testes parallelt mot den faktiske telemetrien din. Om morgenen har issuet en konklusjon, bevisene bak den og foreslåtte neste steg; der autofiks er slått på, er fiksen allerede skrevet og venter på gjennomgang.

Hvilke varselkilder tar Polylane inn?

Datadog, Honeycomb, Axiom, Grafana Cloud, Better Stack, Sentry, CloudWatch, Vercel, Render og Cloudflare, pluss en generisk webhook for alt annet. Hver kilde autentiserer med et avgrenset telemetri-token, og hver utløsning blir et triagert issue.

Hva om Polylane kaller en ekte hendelse støy?

«Ikke hendelse» er en konklusjon, ikke en sletting: issuet blir i konsollen med begrunnelsen vedlagt, og du kan starte en undersøkelse av hva som helst med ett klikk. Konklusjoner krever bevis, og en undersøkelse som ikke nådde data, bekrefter aldri.

Hvor mange undersøkelser kjører den?

Automatiske undersøkelser er begrenset per rullerende 24 timer: 10 på Free-planen, ditt eget tak på betalte planer. Manuelle starter teller aldri mot det. Prisene er offentlige på polylane.com/pricing.

Flere bruksområder

Gi nettene til agentene. Behold morgenene.