새벽 2시 14분, 결제가 실패하고 있습니다. 2시 15분에는 조사가 진행 중입니다.
대기자 명단 등록경보가 울립니다. Polylane이 받습니다. 진짜인지 노이즈인지, 1분 안에 답합니다.
Elevated error rate on payments-api
- 02:14:07 Alert received
Datadog · payments-api error rate · occurrence #1
- 02:14:09 Triage started
Fetching the monitor query and metrics 30 min before, 5 min after the firing.
- 02:14:58 Triaged as an incident
Severity high. Error rate 41× the 30-minute baseline, clustered on POST /v1/charges; deploy f3a9c12 landed 18 minutes before the firing.
- 02:15:02 Investigation started
3 hypotheses · 3 passes each
- 02:31:44 Alert fired again (occurrence #2)
Folded into this issue after 16 quiet minutes; the running investigation was nudged.
- 03:06:12 Alert recovered
Provider recovery received. Issue resolved.
증명할 수 있을 때까지 파헤칩니다. 양쪽에서 논증되는 가설, 증거가 필요한 판정.
What I did
I queued an autofix that restores the Hyperdrive pool hd-prod in the coreplane/checkout-edge repo with:
max_connectionsrestored from 5 to 50 on the pool binding- a regression test that fails when checkout queues on the pool
wrangler.jsoncconfigured to deploy ascheckout-edge
This gives Boris a PR with deployable code. Once merged, running wrangler deploy will replace the degraded worker with the fixed version.
The root cause report has been updated with the occurrence #2 evidence: Root Cause: checkout-edge Latency Degradation (Recurring).
AI can make mistakes. Please double check cited sources.
인시던트는 후속 회의가 아니라 수정으로 끝납니다. 근본 원인을 찾고, 수정을 작성하고, 리뷰를 기다립니다.
Cap retries on the checkout webhook worker #491
polylanemain from polylane/autofix/chat/k3x9f2-4e7d21a 
Retries on the checkout webhook worker were unbounded: a failing delivery re-queued itself forever and amplified load on payments-api. This caps delivery at 5 attempts with exponential backoff and dead-letters the payload after the last one.
What changed
worker/deliver.ts gains MAX_DELIVERY_ATTEMPTS = 5 and backoff between attempts; exhausted payloads land in checkout-webhooks-dlq instead of re-queueing.
Validation
npm test — 214 passed. A forced failing delivery stopped after 5 attempts and appeared in the dead-letter queue.
Polylane이 동작하는 방식. 시스템을 학습하고, 지켜보고, 조사하고, 행동합니다.
-
먼저 시스템을 학습합니다
컨텍스트 그래프가 클라우드, 리포지토리, 관측성 제공자 전반의 모든 리소스와 의존성을 지도로 그립니다. 에이전트는 추측이 아닌 실제 토폴로지 위에서 추론합니다.
-
임계값 없는 감지
모든 제공자에 대한 내장 검사에, 여러분이 저장한 쿼리와 대시보드에서 생성된 검사가 더해집니다. 통계적 판별과 에이전트가 함께 판단하며, 개선은 절대 이슈를 만들지 않습니다.
-
증거를 보여 주는 조사
모든 주장은 그 뒤에 있는 쿼리, 로그 라인, 변경 기록으로 연결됩니다. 증거 없는 판정은 미확정으로 돌아갑니다.
-
쓰기는 얻는 것이지, 전제되지 않습니다
계정은 읽기 전용으로 연결됩니다. 롤백은 기본적으로 꺼져 있고, 속도가 제한되며, 기록에 남습니다. 코드 변경은 여러분의 일반적인 리뷰를 거칩니다.
-
매주 더 예리해집니다
메모리, 일일 노트, 그리고 실제 데이터로 다시 확인되는 모니터링 쿼리. 7월의 조사는 6월의 조사에서 배웁니다.
이미 운영 중인 것에 연결됩니다. 읽기 전용으로 연결하고 시작하세요.
질문.
Polylane이 저를 호출하나요?
호출기가 아니고, 그렇게 되려 하지도 않습니다. Polylane은 이메일, Slack, 콘솔로 알리며, 스스로 감지한 심각도 critical과 high 이슈에 대해서만 알립니다. 목표는 깨어나는 일을 줄이는 것입니다. 이슈는 이미 조사된 상태로 도착합니다.
밤에 이슈가 감지되면 어떻게 되나요?
트리아지가 진짜임을 확인하고, 조사가 스스로 시작되고, 가설이 실제 텔레메트리에 대해 병렬로 검증됩니다. 아침이면 이슈에 판정, 그 뒤의 증거, 제안된 다음 단계가 붙어 있고, 자동 수정이 켜져 있으면 수정이 이미 작성되어 리뷰를 기다리고 있습니다.
Polylane은 어떤 경보 소스를 받아들이나요?
Datadog, Honeycomb, Axiom, Grafana Cloud, Better Stack, Sentry, CloudWatch, Vercel, Render, Cloudflare, 그리고 그 외 모든 것을 위한 범용 웹훅입니다. 각 소스는 스코프가 제한된 텔레메트리 토큰으로 인증하고, 모든 발화는 트리아지된 이슈가 됩니다.
Polylane이 진짜 인시던트를 노이즈라고 판정하면요?
'인시던트 아님'은 판정이지 삭제가 아닙니다. 이슈는 근거가 붙은 채 콘솔에 남고, 무엇에 대해서든 한 번의 클릭으로 조사를 시작할 수 있습니다. 판정에는 증거가 필요하고, 데이터에 닿지 못한 조사는 절대 확인하지 않습니다.
조사를 몇 번이나 실행하나요?
자동 조사는 연속 24시간 단위로 상한이 있습니다. Free 플랜은 10회, 유료 플랜은 여러분이 정한 상한. 수동 시작은 절대 계산되지 않습니다. 가격은 polylane.com/pricing에 공개되어 있습니다.