Pano

Saat 02:14 ve ödeme adımı çöküyor. 02:15'te inceleme çalışıyor.

Bekleme listesine katıl

Bir uyarı tetiklenir. Polylane alır. Gerçek mi gürültü mü: bir dakikadan kısa sürede yanıtlanır.

Issues Elevated error rate on payments-api Timeline

Elevated error rate on payments-api

High Incident ·Detected from a Datadog alert
OverviewMetricsLogsTracesTimelinePropertiesInvestigation
  1. 02:14:07 Alert received

    Datadog · payments-api error rate · occurrence #1

  2. 02:14:09 Triage started

    Fetching the monitor query and metrics 30 min before, 5 min after the firing.

  3. 02:14:58 Triaged as an incident

    Severity high. Error rate 41× the 30-minute baseline, clustered on POST /v1/charges; deploy f3a9c12 landed 18 minutes before the firing.

  4. 02:15:02 Investigation started

    3 hypotheses · 3 passes each

  5. 02:31:44 Alert fired again (occurrence #2)

    Folded into this issue after 16 quiet minutes; the running investigation was nudged.

  6. 03:06:12 Alert recovered

    Provider recovery received. Issue resolved.

Kanıtlayabilene kadar kazar. İki taraftan savunulan hipotezler, kanıt isteyen kararlar.

Threads Critical latency degradation in checkout-edge worker Share

What I did

I queued an autofix that restores the Hyperdrive pool hd-prod in the coreplane/checkout-edge repo with:

  • max_connections restored from 5 to 50 on the pool binding
  • a regression test that fails when checkout queues on the pool
  • wrangler.jsonc configured to deploy as checkout-edge

This gives Boris a PR with deployable code. Once merged, running wrangler deploy will replace the degraded worker with the fixed version.

The root cause report has been updated with the occurrence #2 evidence: Root Cause: checkout-edge Latency Degradation (Recurring).

Wall Time
checkout-edge worker · last hour
Export chart
Wall Time P99
28,381ms
Wall Time P95
2,696ms
Wall Time P50
118ms
010k20k30k
18:0018:2519:00
Worked for 4m 12s

AI can make mistakes. Please double check cited sources.

Dig deeper...

Olay bir takip toplantısıyla değil, bir düzeltmeyle biter. Kök neden bulundu, düzeltme yazıldı, incelemene hazır.

github.com/coreplane/payments-api/pull/491

Cap retries on the checkout webhook worker #491

polylane
Open polylane wants to merge 1 commit into main from polylane/autofix/chat/k3x9f2-4e7d21a
Conversation 1 Commits 1 Checks 1 Files changed 2
polylane bot commented 6 minutes ago ···

Retries on the checkout webhook worker were unbounded: a failing delivery re-queued itself forever and amplified load on payments-api. This caps delivery at 5 attempts with exponential backoff and dead-letters the payload after the last one.

What changed

worker/deliver.ts gains MAX_DELIVERY_ATTEMPTS = 5 and backoff between attempts; exhausted payloads land in checkout-webhooks-dlq instead of re-queueing.

Validation

npm test — 214 passed. A forced failing delivery stopped after 5 attempts and appeared in the dead-letter queue.

Root cause · Why it's safe · Out of scope
polylane added commit 4e7d21a Verified
Review required At least 1 approving review is required
ci / test Successful in 3m 12s Details
Review required Waiting on your review: Polylane never merges on its own
Merging is blocked

Polylane nasıl çalışır. Sistemini öğrenir, izler, inceler ve harekete geçer.

  • Önce sistemini öğrenir

    Bağlam grafiği bulutların, depoların ve gözlemlenebilirlik sağlayıcıların boyunca her kaynağı ve bağımlılığı haritalar. Ajanlar tahminler değil, gerçek topoloji üzerinde akıl yürütür.

  • Eşiksiz tespit

    Her sağlayıcı için yerleşik kontroller, ayrıca kendi kaydettiğin sorgulardan ve panolardan üretilen kontroller. Bir istatistiksel geçiş ve bir ajan birlikte karar verir ve bir iyileşme asla sorun açmaz.

  • Kanıt gösteren incelemeler

    Her iddia arkasındaki sorguya, günlük satırına veya değişiklik kaydına bağlanır. Kanıtsız bir karar sonuçsuza düşer.

  • Yazmalar kazanılır, asla varsayılmaz

    Hesaplar salt okunur bağlanır. Geri almalar varsayılan olarak kapalı, hız sınırlı ve kayıt altındadır. Kod değişiklikleri normal incelemenden geçer.

  • Her hafta daha da keskinleşir

    Bellekler, günlük notlar ve gerçek veriye karşı yeniden doğrulanan izleme sorguları: temmuz incelemesi haziranınkinden öğrenir.

Zaten çalıştırdığın şeylere takılır. Salt okunur bağla ve başla.

Sorular.

Polylane beni çağırır mı?

Bir çağrı cihazı değil ve olmaya da çalışmıyor. Polylane e-posta, Slack ve konsol üzerinden ve yalnızca kendi tespit ettiği kritik ve yüksek önem derecesindeki sorunlar için bildirim gönderir. Amaç daha az uyanmak: sorun zaten incelenmiş olarak gelir.

Gece bir sorun tespit edildiğinde ne olur?

Triyaj gerçek olduğunu doğrular, bir inceleme kendi kendine başlar ve hipotezler gerçek telemetrine karşı paralel test edilir. Sabaha sorunun bir kararı, arkasındaki kanıt ve önerilen sonraki adımlar vardır; otomatik düzeltmenin açık olduğu yerde düzeltme zaten yazılmış ve incelemeyi beklemektedir.

Polylane hangi uyarı kaynaklarını alır?

Datadog, Honeycomb, Axiom, Grafana Cloud, Better Stack, Sentry, CloudWatch, Vercel, Render ve Cloudflare, ayrıca geri kalan her şey için genel bir webhook. Her kaynak kapsamlı bir telemetri tokenıyla kimlik doğrular ve her tetiklenme triyajdan geçmiş bir soruna dönüşür.

Polylane gerçek bir olaya gürültü derse ne olur?

'Olay değil' bir silme değil, bir karardır: sorun gerekçesi ekli olarak konsolda kalır ve herhangi bir şey için tek tıkla inceleme başlatabilirsin. Kararlar kanıt ister ve veriye ulaşamayan bir inceleme asla doğrulamaz.

Kaç inceleme çalıştırır?

Otomatik incelemeler kayan 24 saat bazında sınırlıdır: Free planda 10, ücretli planlarda kendi belirlediğin üst sınır. Manuel başlatmalar buna hiç sayılmaz. Fiyatlandırma polylane.com/pricing adresinde herkese açık.

Daha fazla kullanım senaryosu

Geceleri ajanlara devret. Sabahlar senin olsun.