แดชบอร์ด

ตอนนี้ตี 2:14 และ checkout กำลังล้มเหลว ตี 2:15 การสืบสวนกำลังรันอยู่แล้ว

ลงชื่อเข้า waitlist

alert ดังขึ้น Polylane รับไปทันที ของจริงหรือสัญญาณรบกวน: ได้คำตอบในไม่ถึงนาที

Issues Elevated error rate on payments-api Timeline

Elevated error rate on payments-api

High Incident ·Detected from a Datadog alert
OverviewMetricsLogsTracesTimelinePropertiesInvestigation
  1. 02:14:07 Alert received

    Datadog · payments-api error rate · occurrence #1

  2. 02:14:09 Triage started

    Fetching the monitor query and metrics 30 min before, 5 min after the firing.

  3. 02:14:58 Triaged as an incident

    Severity high. Error rate 41× the 30-minute baseline, clustered on POST /v1/charges; deploy f3a9c12 landed 18 minutes before the firing.

  4. 02:15:02 Investigation started

    3 hypotheses · 3 passes each

  5. 02:31:44 Alert fired again (occurrence #2)

    Folded into this issue after 16 quiet minutes; the running investigation was nudged.

  6. 03:06:12 Alert recovered

    Provider recovery received. Issue resolved.

มันขุดจนกว่าจะพิสูจน์ได้ สมมติฐานถูกโต้แย้งจากทั้งสองด้าน คำตัดสินต้องมีหลักฐาน

Threads Critical latency degradation in checkout-edge worker Share

What I did

I queued an autofix that restores the Hyperdrive pool hd-prod in the coreplane/checkout-edge repo with:

  • max_connections restored from 5 to 50 on the pool binding
  • a regression test that fails when checkout queues on the pool
  • wrangler.jsonc configured to deploy as checkout-edge

This gives Boris a PR with deployable code. Once merged, running wrangler deploy will replace the degraded worker with the fixed version.

The root cause report has been updated with the occurrence #2 evidence: Root Cause: checkout-edge Latency Degradation (Recurring).

Wall Time
checkout-edge worker · last hour
Export chart
Wall Time P99
28,381ms
Wall Time P95
2,696ms
Wall Time P50
118ms
010k20k30k
18:0018:2519:00
Worked for 4m 12s

AI can make mistakes. Please double check cited sources.

Dig deeper...

incident จบด้วยการแก้ไข ไม่ใช่การประชุมติดตามผล พบสาเหตุที่แท้จริง เขียนการแก้ไขแล้ว พร้อมให้คุณรีวิว

github.com/coreplane/payments-api/pull/491

Cap retries on the checkout webhook worker #491

polylane
Open polylane wants to merge 1 commit into main from polylane/autofix/chat/k3x9f2-4e7d21a
Conversation 1 Commits 1 Checks 1 Files changed 2
polylane bot commented 6 minutes ago ···

Retries on the checkout webhook worker were unbounded: a failing delivery re-queued itself forever and amplified load on payments-api. This caps delivery at 5 attempts with exponential backoff and dead-letters the payload after the last one.

What changed

worker/deliver.ts gains MAX_DELIVERY_ATTEMPTS = 5 and backoff between attempts; exhausted payloads land in checkout-webhooks-dlq instead of re-queueing.

Validation

npm test — 214 passed. A forced failing delivery stopped after 5 attempts and appeared in the dead-letter queue.

Root cause · Why it's safe · Out of scope
polylane added commit 4e7d21a Verified
Review required At least 1 approving review is required
ci / test Successful in 3m 12s Details
Review required Waiting on your review: Polylane never merges on its own
Merging is blocked

Polylane ทำงานอย่างไร มันเรียนรู้ระบบของคุณ เฝ้าดู สืบสวน และลงมือ

  • มันเรียนรู้ระบบของคุณก่อน

    context graph วาดแผนที่ทุกทรัพยากรและการพึ่งพาทั่วคลาวด์ repo และผู้ให้บริการ observability ของคุณ เอเจนต์ใช้เหตุผลบน topology จริง ไม่ใช่การเดา

  • การตรวจจับโดยไม่ใช้ threshold

    check ในตัวสำหรับทุกผู้ให้บริการ บวก check ที่สร้างจาก query และแดชบอร์ดที่คุณบันทึกไว้เอง การประมวลผลทางสถิติและเอเจนต์ตัดสินร่วมกัน และการเปลี่ยนแปลงในทางที่ดีขึ้นไม่มีทางเปิด issue

  • การสืบสวนที่แสดงหลักฐาน

    ทุกข้ออ้างลิงก์กลับไปยัง query, บรรทัด log หรือบันทึกการเปลี่ยนแปลงที่อยู่เบื้องหลัง คำตัดสินที่ไม่มีหลักฐานจะถอยกลับเป็นสรุปไม่ได้

  • การเขียนต้องได้รับสิทธิ์ ไม่ใช่ถือว่ามี

    บัญชีเชื่อมต่อแบบอ่านอย่างเดียว rollback ปิดอยู่โดยค่าเริ่มต้น จำกัดอัตรา และมีบันทึกไว้ การเปลี่ยนโค้ดผ่านการรีวิวตามปกติของคุณ

  • มันคมขึ้นทุกสัปดาห์

    memory โน้ตประจำวัน และ query สำหรับมอนิเตอร์ที่ยืนยันซ้ำกับข้อมูลจริง: การสืบสวนเดือนกรกฎาคมเรียนรู้จากเดือนมิถุนายน

มันเสียบเข้ากับสิ่งที่คุณรันอยู่แล้ว เชื่อมต่อแบบอ่านอย่างเดียวแล้วเริ่มได้เลย

AWS Cloudflare Vercel Render Fly.io Kubernetes PlanetScale Supabase Modal GitHub Slack Datadog Honeycomb Axiom Grafana Cloud Sentry Better Stack Devin Cursor Factory MCP Server ทุกการผสานรวม

คำถาม

Polylane จะ page ฉันไหม

มันไม่ใช่ pager และไม่พยายามเป็น Polylane แจ้งเตือนผ่านอีเมล Slack และคอนโซล และเฉพาะ issue ระดับวิกฤตและสูงที่มันตรวจพบเองเท่านั้น เป้าหมายคือปลุกให้น้อยลง: issue มาถึงพร้อมการสืบสวนที่เสร็จแล้ว

จะเกิดอะไรขึ้นเมื่อตรวจพบปัญหาตอนกลางคืน

triage ยืนยันว่าเป็นของจริง การสืบสวนเริ่มด้วยตัวเอง และสมมติฐานถูกทดสอบคู่ขนานกับ telemetry จริงของคุณ พอเช้า issue ก็มีคำตัดสิน หลักฐานเบื้องหลัง และขั้นตอนถัดไปที่แนะนำ ตรงที่เปิดใช้ autofix การแก้ไขก็เขียนเสร็จและรอการรีวิวอยู่แล้ว

Polylane รับ alert จากแหล่งใดบ้าง

Datadog, Honeycomb, Axiom, Grafana Cloud, Better Stack, Sentry, CloudWatch, Vercel, Render และ Cloudflare บวก webhook ทั่วไปสำหรับทุกอย่างที่เหลือ แต่ละแหล่งยืนยันตัวตนด้วยโทเค็น telemetry ที่จำกัดขอบเขต และทุกครั้งที่ดังกลายเป็น issue ที่ผ่าน triage

ถ้า Polylane ตัดสินว่า incident จริงเป็นสัญญาณรบกวนล่ะ

'ไม่ใช่ incident' คือคำตัดสิน ไม่ใช่การลบ: issue ยังอยู่ในคอนโซลพร้อมเหตุผลแนบ และคุณเริ่มการสืบสวนบนอะไรก็ได้ด้วยคลิกเดียว คำตัดสินต้องมีหลักฐาน และการสืบสวนที่เข้าถึงข้อมูลไม่ได้จะไม่มีทางยืนยัน

มันจะรันการสืบสวนกี่ครั้ง

การสืบสวนอัตโนมัติมีเพดานต่อ 24 ชั่วโมงแบบต่อเนื่อง: 10 ครั้งในแพลน Free และเพดานที่คุณกำหนดเองในแพลนแบบชำระเงิน การเริ่มด้วยตัวเองไม่นับรวม ราคาเปิดเผยที่ polylane.com/pricing

กรณีใช้งานเพิ่มเติม
การวิเคราะห์ผลกระทบDevOpsการแก้ ticketObservabilityการจัดการ release

มอบกลางคืนให้เอเจนต์ เก็บตอนเช้าไว้ให้ตัวเอง

ลงชื่อเข้า waitlist ดูว่ามีอะไรอยู่ใน roadmap