Дашборд

Десять деплоев в день. Один из них плохой. Polylane находит его и откатывает.

Встать в список ожидания

Каждый деплой отслеживается из коробки. Что изменилось, кто изменил и какие сигналы вероятнее всего сломаются.

Clouds prod-aws Changes

SQS visibility timeout lowered on checkout-events

Moderate impact configuration ·Synced 12 minutes ago

VisibilityTimeout on checkout-events dropped from 120s to 15s. Consumers that hold a message longer than 15 seconds will see it delivered twice; the dead-letter queue threshold is unchanged.

What we're watching
ApproximateAgeOfOldestMessage
checkout-events · baseline at change 3.2s · worse if up
Watching: no issue since this change
NumberOfMessagesReceived
checkout-events · baseline at change 41/min · worse if up
Watching: no issue since this change
Triggering events
SetQueueAttributes CloudTrail · deploy-bot · 12:41:02Z attached to this record's delta window
Full diff (3 changes)
Nodes (2) Edges (1)
2 nodes modified · 1 edge removed

Откат, если он вам нужен. Выключен по умолчанию. Включите, и агент сделает остальное.

Issues Critical latency degradation in checkout-edge worker Overview

Critical latency degradation in checkout-edge worker

Incident critical Polylane ·Detected 3 hours ago ·Last seen 4 minutes ago ·2 occurrences
OverviewInvestigationMetricsTimelineProperties
checkout-edge Cloudflare Worker

Critical latency degradation detected in checkout-edge worker: 18x+ P99 latency spikes sustained for 12 minutes

Causal metrics All metrics
Request Duration
414 ms ▲ 43.1σ
Wall Time
416 ms ▲ 43.0σ
CPU Time
14 ms ▲ 2.6σ
Blast radius
Search your cloud resources...
Graph Table
edge-gateway Cloudflare Worker ··· checkout-edge Cloudflare Worker ··· hd-prod Hyperdrive ··· payments-db PlanetScale ··· cart-svc Cloudflare Worker ···
Analysis Copy

Deploy 9f3c2a1 shrank the Hyperdrive pool hd-prod from 50 connections to 5. Under checkout load, requests queue on connection checkout and P99 rises 18× against the 30-minute baseline. Restoring the pool size restores latency.

Tags
service · checkout-edgeprovider · cloudflaredeploy · 9f3c2a1signal · wall_time_p99

Откатите сейчас. Исправьте как следует потом. Откат даёт время: настоящее исправление приходит на ваше ревью.

github.com/coreplane/payments-api/pull/491

Cap retries on the checkout webhook worker #491

polylane
Open polylane wants to merge 1 commit into main from polylane/autofix/chat/k3x9f2-4e7d21a
Conversation 1 Commits 1 Checks 1 Files changed 2
polylane bot commented 6 minutes ago ···

Retries on the checkout webhook worker were unbounded: a failing delivery re-queued itself forever and amplified load on payments-api. This caps delivery at 5 attempts with exponential backoff and dead-letters the payload after the last one.

What changed

worker/deliver.ts gains MAX_DELIVERY_ATTEMPTS = 5 and backoff between attempts; exhausted payloads land in checkout-webhooks-dlq instead of re-queueing.

Validation

npm test — 214 passed. A forced failing delivery stopped after 5 attempts and appeared in the dead-letter queue.

Root cause · Why it's safe · Out of scope
polylane added commit 4e7d21a Verified
Review required At least 1 approving review is required
ci / test Successful in 3m 12s Details
Review required Waiting on your review: Polylane never merges on its own
Merging is blocked

Как работает Polylane. Он изучает вашу систему, следит за ней, расследует и действует.

  • Сначала он изучает вашу систему

    Граф контекста отображает каждый ресурс и каждую зависимость между вашими облаками, репозиториями и провайдерами наблюдаемости. Агенты рассуждают на основе реальной топологии, а не догадок.

  • Обнаружение без порогов

    Встроенные проверки для каждого провайдера плюс проверки, созданные из ваших сохранённых запросов и дашбордов. Статистический проход и агент решают вместе, и улучшение никогда не создаёт проблему.

  • Расследования, которые показывают доказательства

    Каждое утверждение ссылается на запрос, строку лога или запись об изменении, которые за ним стоят. Вердикт без доказательств откатывается к «неубедительно».

  • Право на запись нужно заслужить, оно не подразумевается

    Аккаунты подключаются только для чтения. Откаты выключены по умолчанию, ограничены по частоте и записываются. Изменения кода проходят через ваше обычное ревью.

  • Каждую неделю он становится точнее

    Записи памяти, ежедневные заметки и мониторинговые запросы, повторно подтверждённые на реальных данных: июльское расследование учится на июньском.

Он подключается к тому, что у вас уже работает. Подключите в режиме только чтения и начните.

Вопросы.

Какие платформы Polylane может откатывать?

Деплои в Cloudflare, Vercel, Render и Fly.io, с восстановлением последнего заведомо рабочего деплоя. Откаты выключены по умолчанию: вы включаете их сами и можете отключить в любой момент.

Что предотвращает цикл автоматических откатов?

Жёсткие ограничения в платформе, а не суждение агента. Три успешных отката в час на цель, один откат в работе в каждый момент, а когда параллельные проходы не согласны в том, какую версию восстанавливать, действие блокируется и эскалируется вам.

Нужен ли ему мой CI-пайплайн?

Нет. Polylane читает деплои у самих провайдеров. Ревью pull request'ов выполняется как проверка GitHub, которую вы можете сделать обязательной, но в вашем пайплайне ничего не меняется.

А что с изменениями, которые не являются деплоями?

Правки конфигурации, события масштабирования и изменения безопасности записываются и отслеживаются так же. Когда очередь начинает вести себя странно через двенадцать минут после того, как кто-то уменьшил её visibility timeout, расследование начинается с этого изменения.

Могу ли я увидеть, почему произошёл откат?

Каждый откат записан: прогон, который его выполнил, регрессировавшие сигналы, восстановленная версия и обоснование попадают в запись.

Другие сценарии

Делайте merge в пятницу. Выходные у Polylane.