Panel

Son las 2:14 de la madrugada y el checkout está fallando. A las 2:15 la investigación ya está en marcha.

Únete a la lista de espera

Se dispara una alerta. Polylane la recoge. Real o ruido: respondido en menos de un minuto.

Issues Elevated error rate on payments-api Timeline

Elevated error rate on payments-api

High Incident ·Detected from a Datadog alert
OverviewMetricsLogsTracesTimelinePropertiesInvestigation
  1. 02:14:07 Alert received

    Datadog · payments-api error rate · occurrence #1

  2. 02:14:09 Triage started

    Fetching the monitor query and metrics 30 min before, 5 min after the firing.

  3. 02:14:58 Triaged as an incident

    Severity high. Error rate 41× the 30-minute baseline, clustered on POST /v1/charges; deploy f3a9c12 landed 18 minutes before the firing.

  4. 02:15:02 Investigation started

    3 hypotheses · 3 passes each

  5. 02:31:44 Alert fired again (occurrence #2)

    Folded into this issue after 16 quiet minutes; the running investigation was nudged.

  6. 03:06:12 Alert recovered

    Provider recovery received. Issue resolved.

Excava hasta que puede demostrarlo. Hipótesis debatidas desde ambos lados, veredictos que exigen evidencia.

Threads Critical latency degradation in checkout-edge worker Share

What I did

I queued an autofix that restores the Hyperdrive pool hd-prod in the coreplane/checkout-edge repo with:

  • max_connections restored from 5 to 50 on the pool binding
  • a regression test that fails when checkout queues on the pool
  • wrangler.jsonc configured to deploy as checkout-edge

This gives Boris a PR with deployable code. Once merged, running wrangler deploy will replace the degraded worker with the fixed version.

The root cause report has been updated with the occurrence #2 evidence: Root Cause: checkout-edge Latency Degradation (Recurring).

Wall Time
checkout-edge worker · last hour
Export chart
Wall Time P99
28,381ms
Wall Time P95
2,696ms
Wall Time P50
118ms
010k20k30k
18:0018:2519:00
Worked for 4m 12s

AI can make mistakes. Please double check cited sources.

Dig deeper...

El incidente termina con un arreglo, no con otra reunión. Causa raíz encontrada, arreglo escrito, listo para tu revisión.

github.com/coreplane/payments-api/pull/491

Cap retries on the checkout webhook worker #491

polylane
Open polylane wants to merge 1 commit into main from polylane/autofix/chat/k3x9f2-4e7d21a
Conversation 1 Commits 1 Checks 1 Files changed 2
polylane bot commented 6 minutes ago ···

Retries on the checkout webhook worker were unbounded: a failing delivery re-queued itself forever and amplified load on payments-api. This caps delivery at 5 attempts with exponential backoff and dead-letters the payload after the last one.

What changed

worker/deliver.ts gains MAX_DELIVERY_ATTEMPTS = 5 and backoff between attempts; exhausted payloads land in checkout-webhooks-dlq instead of re-queueing.

Validation

npm test — 214 passed. A forced failing delivery stopped after 5 attempts and appeared in the dead-letter queue.

Root cause · Why it's safe · Out of scope
polylane added commit 4e7d21a Verified
Review required At least 1 approving review is required
ci / test Successful in 3m 12s Details
Review required Waiting on your review: Polylane never merges on its own
Merging is blocked

Cómo funciona Polylane. Aprende tu sistema, lo vigila, investiga y actúa.

  • Primero aprende tu sistema

    El grafo de contexto mapea cada recurso y dependencia entre tus nubes, repositorios y proveedores de observabilidad. Los agentes razonan sobre topología real, no sobre suposiciones.

  • Detección sin umbrales

    Comprobaciones integradas para cada proveedor, más comprobaciones generadas a partir de tus propias consultas guardadas y paneles. Una pasada estadística y un agente deciden juntos, y una mejora nunca abre un issue.

  • Investigaciones que muestran pruebas

    Cada afirmación enlaza con la consulta, la línea de log o el registro de cambio que la respalda. Un veredicto sin evidencia pasa a no concluyente.

  • Las escrituras se ganan, nunca se presuponen

    Las cuentas se conectan en solo lectura. Los rollbacks están desactivados por defecto, con límite de frecuencia y registrados. Los cambios de código pasan por tu revisión habitual.

  • Cada semana afina más

    Memorias, notas diarias y consultas de monitorización reconfirmadas contra datos reales: la investigación de julio aprende de la de junio.

Se conecta a lo que ya ejecutas. Conecta en solo lectura y empieza.

Preguntas.

¿Polylane me despierta con avisos?

No es un buscapersonas ni intenta serlo. Polylane notifica por correo, Slack y la consola, y solo para issues de severidad crítica y alta que detectó por sí mismo. El objetivo es despertarte menos: el issue llega ya investigado.

¿Qué pasa cuando se detecta un issue de noche?

El triaje confirma que es real, una investigación arranca por sí sola y las hipótesis se prueban en paralelo contra tu telemetría real. Por la mañana el issue tiene un veredicto, la evidencia que lo respalda y próximos pasos sugeridos; donde el autofix está habilitado, el arreglo ya está escrito y esperando revisión.

¿Qué fuentes de alertas ingiere Polylane?

Datadog, Honeycomb, Axiom, Grafana Cloud, Better Stack, Sentry, CloudWatch, Vercel, Render y Cloudflare, más un webhook genérico para todo lo demás. Cada fuente se autentica con un token de telemetría acotado, y cada disparo se convierte en un issue triado.

¿Y si Polylane califica de ruido un incidente real?

'No incidente' es un veredicto, no una eliminación: el issue se queda en la consola con el razonamiento adjunto, y puedes iniciar una investigación sobre cualquier cosa con un clic. Los veredictos exigen evidencia, y una investigación que no pudo llegar a los datos nunca confirma.

¿Cuántas investigaciones ejecutará?

Las investigaciones automáticas tienen tope por cada 24 horas: 10 en el plan Free, el tope que tú fijes en los planes de pago. Las que inicias a mano nunca cuentan. Los precios son públicos en polylane.com/pricing.

Más casos de uso

Deja las noches a los agentes. Quédate con las mañanas.