2:14 ночі, оформлення замовлень не працює. О 2:15 розслідування вже триває.
Приєднатися до списку очікуванняСпрацьовує алерт. Polylane його підхоплює. Справжній чи шум: відповідь менше ніж за хвилину.
Elevated error rate on payments-api
- 02:14:07 Alert received
Datadog · payments-api error rate · occurrence #1
- 02:14:09 Triage started
Fetching the monitor query and metrics 30 min before, 5 min after the firing.
- 02:14:58 Triaged as an incident
Severity high. Error rate 41× the 30-minute baseline, clustered on POST /v1/charges; deploy f3a9c12 landed 18 minutes before the firing.
- 02:15:02 Investigation started
3 hypotheses · 3 passes each
- 02:31:44 Alert fired again (occurrence #2)
Folded into this issue after 16 quiet minutes; the running investigation was nudged.
- 03:06:12 Alert recovered
Provider recovery received. Issue resolved.
Він копає, доки не зможе довести. Гіпотези, які обстоюють з обох сторін, і висновки, яким потрібні докази.
What I did
I queued an autofix that restores the Hyperdrive pool hd-prod in the coreplane/checkout-edge repo with:
max_connectionsrestored from 5 to 50 on the pool binding- a regression test that fails when checkout queues on the pool
wrangler.jsoncconfigured to deploy ascheckout-edge
This gives Boris a PR with deployable code. Once merged, running wrangler deploy will replace the degraded worker with the fixed version.
The root cause report has been updated with the occurrence #2 evidence: Root Cause: checkout-edge Latency Degradation (Recurring).
AI can make mistakes. Please double check cited sources.
Інцидент завершується виправленням, а не ще однією нарадою. Першопричину знайдено, виправлення написано, готове до вашого рев'ю.
Cap retries on the checkout webhook worker #491
polylanemain from polylane/autofix/chat/k3x9f2-4e7d21a 
Retries on the checkout webhook worker were unbounded: a failing delivery re-queued itself forever and amplified load on payments-api. This caps delivery at 5 attempts with exponential backoff and dead-letters the payload after the last one.
What changed
worker/deliver.ts gains MAX_DELIVERY_ATTEMPTS = 5 and backoff between attempts; exhausted payloads land in checkout-webhooks-dlq instead of re-queueing.
Validation
npm test — 214 passed. A forced failing delivery stopped after 5 attempts and appeared in the dead-letter queue.
Як працює Polylane. Він вивчає вашу систему, стежить за нею, розслідує і діє.
-
Спершу він вивчає вашу систему
Контекстний граф відображає кожен ресурс і кожну залежність між вашими хмарами, репозиторіями та провайдерами спостережуваності. Агенти міркують над реальною топологією, а не над здогадками.
-
Виявлення без порогів
Вбудовані перевірки для кожного провайдера, а також перевірки, згенеровані з ваших власних збережених запитів і дашбордів. Статистичний прохід і агент вирішують разом, і покращення ніколи не створює проблему.
-
Розслідування, які показують докази
Кожне твердження посилається на запит, рядок логу або запис про зміну, що стоять за ним. Висновок без доказів повертається до «непереконливо».
-
Записи заслуговують, а не отримують автоматично
Облікові записи підключаються лише для читання. Відкати типово вимкнені, обмежені за частотою і записуються. Зміни коду проходять ваше звичайне рев'ю.
-
Щотижня він стає гострішим
Спогади, щоденні нотатки та запити моніторингу, повторно підтверджені на реальних даних: липневе розслідування вчиться на червневому.
Він підключається до того, що ви вже запускаєте. Підключіть лише для читання і починайте.
Питання.
Чи будить мене Polylane?
Це не пейджер і він не намагається ним бути. Polylane сповіщає електронною поштою, у Slack і в консолі, і лише про проблеми критичної та високої серйозності, які виявив сам. Мета в меншій кількості пробуджень: проблема надходить уже розслідуваною.
Що відбувається, коли проблему виявлено вночі?
Тріаж підтверджує, що вона справжня, розслідування починається самостійно, а гіпотези паралельно перевіряються на вашій реальній телеметрії. До ранку проблема має висновок, докази за ним і пропоновані наступні кроки; там, де увімкнено автовиправлення, виправлення вже написане і чекає на рев'ю.
Які джерела алертів приймає Polylane?
Datadog, Honeycomb, Axiom, Grafana Cloud, Better Stack, Sentry, CloudWatch, Vercel, Render і Cloudflare, а також універсальний webhook для всього іншого. Кожне джерело автентифікується токеном телеметрії з областю дії, і кожне спрацювання стає тріажованою проблемою.
Що, якщо Polylane назве справжній інцидент шумом?
«Не інцидент» є висновком, а не видаленням: проблема залишається в консолі разом із міркуваннями, і ви можете запустити розслідування будь-чого одним клацанням. Висновкам потрібні докази, а розслідування, яке не змогло дістатися даних, ніколи не підтверджує.
Скільки розслідувань він запускатиме?
Автоматичні розслідування обмежені на ковзні 24 години: 10 на плані Free, ваш власний ліміт на платних планах. Ручні запуски ніколи не враховуються. Ціни публічні на polylane.com/pricing.