Dashboard

São 2h14 da manhã e o checkout está falhando. Às 2h15 a investigação já está rodando.

Entrar na lista de espera

Um alerta dispara. O Polylane assume. Real ou ruído: respondido em menos de um minuto.

Issues Elevated error rate on payments-api Timeline

Elevated error rate on payments-api

High Incident ·Detected from a Datadog alert
OverviewMetricsLogsTracesTimelinePropertiesInvestigation
  1. 02:14:07 Alert received

    Datadog · payments-api error rate · occurrence #1

  2. 02:14:09 Triage started

    Fetching the monitor query and metrics 30 min before, 5 min after the firing.

  3. 02:14:58 Triaged as an incident

    Severity high. Error rate 41× the 30-minute baseline, clustered on POST /v1/charges; deploy f3a9c12 landed 18 minutes before the firing.

  4. 02:15:02 Investigation started

    3 hypotheses · 3 passes each

  5. 02:31:44 Alert fired again (occurrence #2)

    Folded into this issue after 16 quiet minutes; the running investigation was nudged.

  6. 03:06:12 Alert recovered

    Provider recovery received. Issue resolved.

Ele escava até conseguir provar. Hipóteses defendidas dos dois lados, vereditos que exigem evidência.

Threads Critical latency degradation in checkout-edge worker Share

What I did

I queued an autofix that restores the Hyperdrive pool hd-prod in the coreplane/checkout-edge repo with:

  • max_connections restored from 5 to 50 on the pool binding
  • a regression test that fails when checkout queues on the pool
  • wrangler.jsonc configured to deploy as checkout-edge

This gives Boris a PR with deployable code. Once merged, running wrangler deploy will replace the degraded worker with the fixed version.

The root cause report has been updated with the occurrence #2 evidence: Root Cause: checkout-edge Latency Degradation (Recurring).

Wall Time
checkout-edge worker · last hour
Export chart
Wall Time P99
28,381ms
Wall Time P95
2,696ms
Wall Time P50
118ms
010k20k30k
18:0018:2519:00
Worked for 4m 12s

AI can make mistakes. Please double check cited sources.

Dig deeper...

O incidente termina com uma correção, não com uma reunião de acompanhamento. Causa raiz encontrada, correção escrita, pronta para a sua revisão.

github.com/coreplane/payments-api/pull/491

Cap retries on the checkout webhook worker #491

polylane
Open polylane wants to merge 1 commit into main from polylane/autofix/chat/k3x9f2-4e7d21a
Conversation 1 Commits 1 Checks 1 Files changed 2
polylane bot commented 6 minutes ago ···

Retries on the checkout webhook worker were unbounded: a failing delivery re-queued itself forever and amplified load on payments-api. This caps delivery at 5 attempts with exponential backoff and dead-letters the payload after the last one.

What changed

worker/deliver.ts gains MAX_DELIVERY_ATTEMPTS = 5 and backoff between attempts; exhausted payloads land in checkout-webhooks-dlq instead of re-queueing.

Validation

npm test — 214 passed. A forced failing delivery stopped after 5 attempts and appeared in the dead-letter queue.

Root cause · Why it's safe · Out of scope
polylane added commit 4e7d21a Verified
Review required At least 1 approving review is required
ci / test Successful in 3m 12s Details
Review required Waiting on your review: Polylane never merges on its own
Merging is blocked

Como o Polylane funciona. Ele aprende seu sistema, observa, investiga e age.

  • Ele aprende seu sistema primeiro

    O grafo de contexto mapeia cada recurso e dependência entre suas nuvens, repositórios e provedores de observabilidade. Os agentes raciocinam sobre a topologia real, não sobre palpites.

  • Detecção sem limiares

    Verificações integradas para cada provedor, mais verificações geradas a partir das suas próprias queries salvas e dashboards. Uma passagem estatística e um agente decidem juntos, e uma melhoria nunca abre uma issue.

  • Investigações que mostram evidências

    Cada afirmação aponta de volta para a query, a linha de log ou o registro de mudança por trás dela. Um veredito sem evidência recua para inconclusivo.

  • Escritas se conquistam, nunca se presumem

    As contas se conectam em modo somente leitura. Rollbacks ficam desativados por padrão, com limite de taxa e registrados. Mudanças de código passam pela sua revisão normal.

  • Ele fica mais afiado a cada semana

    Memórias, notas diárias e queries de monitoramento reconfirmadas contra dados reais: a investigação de julho aprende com a de junho.

Ele se conecta ao que você já roda. Conecte em modo somente leitura e comece.

Perguntas.

O Polylane me chama no pager?

Ele não é um pager e não tenta ser. O Polylane notifica por e-mail, Slack e pelo console, e só para issues de severidade crítica e alta que ele mesmo detectou. O objetivo é acordar menos: a issue chega já investigada.

O que acontece quando uma issue é detectada à noite?

A triagem confirma que é real, uma investigação começa sozinha e as hipóteses são testadas em paralelo contra a sua telemetria real. De manhã, a issue tem um veredito, a evidência por trás dele e próximos passos sugeridos; onde o autofix está habilitado, a correção já está escrita e esperando revisão.

Quais fontes de alerta o Polylane recebe?

Datadog, Honeycomb, Axiom, Grafana Cloud, Better Stack, Sentry, CloudWatch, Vercel, Render e Cloudflare, mais um webhook genérico para todo o resto. Cada fonte se autentica com um token de telemetria com escopo, e cada disparo vira uma issue triada.

E se o Polylane classificar um incidente real como ruído?

'Não é incidente' é um veredito, não uma exclusão: a issue continua no console com o raciocínio anexado, e você pode iniciar uma investigação sobre qualquer coisa com um clique. Vereditos exigem evidência, e uma investigação que não conseguiu chegar aos dados nunca confirma.

Quantas investigações ele vai rodar?

Investigações automáticas têm teto por janela móvel de 24 horas: 10 no plano Free, o teto que você definir nos planos pagos. Inícios manuais nunca contam. Os preços são públicos em polylane.com/pricing.

Mais casos de uso

Entregue as noites aos agentes. Fique com as manhãs.