Jest 2:14 w nocy i checkout nie działa. O 2:15 dochodzenie już trwa.
Dołącz do listy oczekującychAlert się odzywa. Polylane go podejmuje. Prawdziwy czy szum: odpowiedź w niecałą minutę.
Elevated error rate on payments-api
- 02:14:07 Alert received
Datadog · payments-api error rate · occurrence #1
- 02:14:09 Triage started
Fetching the monitor query and metrics 30 min before, 5 min after the firing.
- 02:14:58 Triaged as an incident
Severity high. Error rate 41× the 30-minute baseline, clustered on POST /v1/charges; deploy f3a9c12 landed 18 minutes before the firing.
- 02:15:02 Investigation started
3 hypotheses · 3 passes each
- 02:31:44 Alert fired again (occurrence #2)
Folded into this issue after 16 quiet minutes; the running investigation was nudged.
- 03:06:12 Alert recovered
Provider recovery received. Issue resolved.
Kopie, aż potrafi to udowodnić. Hipotezy spierane z obu stron, werdykty, które wymagają dowodów.
What I did
I queued an autofix that restores the Hyperdrive pool hd-prod in the coreplane/checkout-edge repo with:
max_connectionsrestored from 5 to 50 on the pool binding- a regression test that fails when checkout queues on the pool
wrangler.jsoncconfigured to deploy ascheckout-edge
This gives Boris a PR with deployable code. Once merged, running wrangler deploy will replace the degraded worker with the fixed version.
The root cause report has been updated with the occurrence #2 evidence: Root Cause: checkout-edge Latency Degradation (Recurring).
AI can make mistakes. Please double check cited sources.
Incydent kończy się poprawką, nie kolejnym spotkaniem. Przyczyna źródłowa znaleziona, poprawka napisana, gotowa do twojego przeglądu.
Cap retries on the checkout webhook worker #491
polylanemain from polylane/autofix/chat/k3x9f2-4e7d21a 
Retries on the checkout webhook worker were unbounded: a failing delivery re-queued itself forever and amplified load on payments-api. This caps delivery at 5 attempts with exponential backoff and dead-letters the payload after the last one.
What changed
worker/deliver.ts gains MAX_DELIVERY_ATTEMPTS = 5 and backoff between attempts; exhausted payloads land in checkout-webhooks-dlq instead of re-queueing.
Validation
npm test — 214 passed. A forced failing delivery stopped after 5 attempts and appeared in the dead-letter queue.
Jak działa Polylane. Poznaje twój system, obserwuje go, bada i działa.
-
Najpierw poznaje twój system
Graf kontekstu mapuje każdy zasób i zależność w twoich chmurach, repozytoriach i u dostawców obserwowalności. Agenci rozumują nad prawdziwą topologią, nie domysłami.
-
Wykrywanie bez progów
Wbudowane kontrole dla każdego dostawcy, plus kontrole generowane z twoich zapisanych zapytań i dashboardów. Przebieg statystyczny i agent decydują razem, a poprawa nigdy nie otwiera problemu.
-
Dochodzenia, które pokazują dowody
Każde twierdzenie prowadzi do zapytania, wiersza logu lub rekordu zmiany, który za nim stoi. Werdykt bez dowodów spada do nierozstrzygniętego.
-
Na zapis trzeba zasłużyć, nigdy nie jest zakładany
Konta łączą się w trybie tylko do odczytu. Rollbacki są domyślnie wyłączone, z limitem częstości i w rejestrze. Zmiany w kodzie przechodzą przez twój zwykły przegląd.
-
Co tydzień jest ostrzejsze
Wspomnienia, dzienne notatki i zapytania monitoringu ponownie potwierdzane na prawdziwych danych: lipcowe dochodzenie uczy się od czerwcowego.
Wpina się w to, co już uruchamiasz. Połącz w trybie tylko do odczytu i zacznij.
Pytania.
Czy Polylane mnie budzi?
To nie jest pager i nie próbuje nim być. Polylane powiadamia przez e-mail, Slack i konsolę, i tylko o problemach o krytyczności krytycznej i wysokiej, które samo wykryło. Celem jest mniej pobudek: problem przychodzi już zbadany.
Co się dzieje, gdy problem zostanie wykryty w nocy?
Triaż potwierdza, że to prawdziwy problem, dochodzenie zaczyna się samo, a hipotezy są testowane równolegle na twojej rzeczywistej telemetrii. Do rana problem ma werdykt, dowody za nim i sugerowane kolejne kroki; tam, gdzie autofix jest włączony, poprawka jest już napisana i czeka na przegląd.
Które źródła alertów Polylane przyjmuje?
Datadog, Honeycomb, Axiom, Grafana Cloud, Better Stack, Sentry, CloudWatch, Vercel, Render i Cloudflare, plus ogólny webhook na wszystko inne. Każde źródło uwierzytelnia się tokenem telemetrii o ograniczonym zakresie, a każde wyzwolenie staje się problemem po triażu.
Co, jeśli Polylane uzna prawdziwy incydent za szum?
„Nie incydent” to werdykt, nie usunięcie: problem zostaje w konsoli z dołączonym rozumowaniem, a dochodzenie możesz uruchomić na czymkolwiek jednym kliknięciem. Werdykty wymagają dowodów, a dochodzenie, które nie dotarło do danych, nigdy nie potwierdza.
Ile dochodzeń będzie prowadzić?
Automatyczne dochodzenia mają limit na ruchome 24 godziny: 10 w planie Free, własny limit w planach płatnych. Ręczne uruchomienia nigdy się do niego nie liczą. Cennik jest publiczny na polylane.com/pricing.