Dashboard

Det er 2:14 om natten, og checkout fejler. Klokken 2:15 kører undersøgelsen.

Skriv dig på ventelisten

En alarm udløses. Polylane tager den. Ægte eller støj: besvaret på under et minut.

Issues Elevated error rate on payments-api Timeline

Elevated error rate on payments-api

High Incident ·Detected from a Datadog alert
OverviewMetricsLogsTracesTimelinePropertiesInvestigation
  1. 02:14:07 Alert received

    Datadog · payments-api error rate · occurrence #1

  2. 02:14:09 Triage started

    Fetching the monitor query and metrics 30 min before, 5 min after the firing.

  3. 02:14:58 Triaged as an incident

    Severity high. Error rate 41× the 30-minute baseline, clustered on POST /v1/charges; deploy f3a9c12 landed 18 minutes before the firing.

  4. 02:15:02 Investigation started

    3 hypotheses · 3 passes each

  5. 02:31:44 Alert fired again (occurrence #2)

    Folded into this issue after 16 quiet minutes; the running investigation was nudged.

  6. 03:06:12 Alert recovered

    Provider recovery received. Issue resolved.

Den graver, indtil den kan bevise det. Hypoteser argumenteret fra begge sider, vurderinger der kræver beviser.

Threads Critical latency degradation in checkout-edge worker Share

What I did

I queued an autofix that restores the Hyperdrive pool hd-prod in the coreplane/checkout-edge repo with:

  • max_connections restored from 5 to 50 on the pool binding
  • a regression test that fails when checkout queues on the pool
  • wrangler.jsonc configured to deploy as checkout-edge

This gives Boris a PR with deployable code. Once merged, running wrangler deploy will replace the degraded worker with the fixed version.

The root cause report has been updated with the occurrence #2 evidence: Root Cause: checkout-edge Latency Degradation (Recurring).

Wall Time
checkout-edge worker · last hour
Export chart
Wall Time P99
28,381ms
Wall Time P95
2,696ms
Wall Time P50
118ms
010k20k30k
18:0018:2519:00
Worked for 4m 12s

AI can make mistakes. Please double check cited sources.

Dig deeper...

Hændelsen slutter med en rettelse, ikke et opfølgningsmøde. Rodårsag fundet, rettelse skrevet, klar til din gennemgang.

github.com/coreplane/payments-api/pull/491

Cap retries on the checkout webhook worker #491

polylane
Open polylane wants to merge 1 commit into main from polylane/autofix/chat/k3x9f2-4e7d21a
Conversation 1 Commits 1 Checks 1 Files changed 2
polylane bot commented 6 minutes ago ···

Retries on the checkout webhook worker were unbounded: a failing delivery re-queued itself forever and amplified load on payments-api. This caps delivery at 5 attempts with exponential backoff and dead-letters the payload after the last one.

What changed

worker/deliver.ts gains MAX_DELIVERY_ATTEMPTS = 5 and backoff between attempts; exhausted payloads land in checkout-webhooks-dlq instead of re-queueing.

Validation

npm test — 214 passed. A forced failing delivery stopped after 5 attempts and appeared in the dead-letter queue.

Root cause · Why it's safe · Out of scope
polylane added commit 4e7d21a Verified
Review required At least 1 approving review is required
ci / test Successful in 3m 12s Details
Review required Waiting on your review: Polylane never merges on its own
Merging is blocked

Sådan virker Polylane. Den lærer dit system, holder øje med det, undersøger og handler.

  • Den lærer dit system først

    Kontekstgrafen kortlægger hver ressource og afhængighed på tværs af dine clouds, repositories og observability-udbydere. Agenter ræsonnerer over rigtig topologi, ikke gæt.

  • Detektion uden tærskler

    Indbyggede kontroller for hver udbyder, plus kontroller genereret fra dine egne gemte queries og dashboards. En statistisk gennemgang og en agent beslutter sammen, og en forbedring rejser aldrig et issue.

  • Undersøgelser, der viser beviser

    Hver påstand linker tilbage til den query, loglinje eller ændringspost, der ligger bag. En vurdering uden beviser falder tilbage til uafgjort.

  • Skrivninger skal gøres fortjent, aldrig antages

    Konti forbindes skrivebeskyttet. Rollbacks er slået fra som standard, rate-begrænsede og registrerede. Kodeændringer går gennem din normale gennemgang.

  • Den bliver skarpere hver uge

    Minder, daglige noter og overvågnings-queries genbekræftet mod rigtige data: julis undersøgelse lærer af junis.

Den kobler sig på det, du allerede kører. Forbind skrivebeskyttet og kom i gang.

Spørgsmål.

Pager Polylane mig?

Det er ikke en pager og prøver ikke at være en. Polylane giver besked via e-mail, Slack og konsollen, og kun ved issues med kritisk og høj alvorsgrad, som den selv har opdaget. Målet er færre opvågninger: issuet ankommer allerede undersøgt.

Hvad sker der, når et issue opdages om natten?

Triagen bekræfter, at det er ægte, en undersøgelse starter af sig selv, og hypoteser testes parallelt mod din faktiske telemetri. Om morgenen har issuet en vurdering, beviserne bag den og forslag til næste skridt; hvor autofix er slået til, er rettelsen allerede skrevet og venter på gennemgang.

Hvilke alarmkilder tager Polylane imod?

Datadog, Honeycomb, Axiom, Grafana Cloud, Better Stack, Sentry, CloudWatch, Vercel, Render og Cloudflare, plus en generisk webhook til alt andet. Hver kilde autentificerer med et afgrænset telemetri-token, og hver udløsning bliver et triageret issue.

Hvad hvis Polylane kalder en ægte hændelse for støj?

'Ingen hændelse' er en vurdering, ikke en sletning: issuet bliver i konsollen med begrundelsen vedhæftet, og du kan starte en undersøgelse af hvad som helst med ét klik. Vurderinger kræver beviser, og en undersøgelse, der ikke kunne nå data, bekræfter aldrig.

Hvor mange undersøgelser vil den køre?

Automatiske undersøgelser har et loft pr. rullende 24 timer: 10 på Free-planen, dit eget loft på betalte planer. Manuelle starter tæller aldrig med. Priserne er offentlige på polylane.com/pricing.

Flere anvendelser

Overlad nætterne til agenterne. Behold morgenerne.