Вас снова разбудили из-за ничего. Polylane читает каждый алерт и глушит шум.
Встать в список ожиданияElevated error rate on payments-api
- 02:14:07 Alert received
Datadog · payments-api error rate · occurrence #1
- 02:14:09 Triage started
Fetching the monitor query and metrics 30 min before, 5 min after the firing.
- 02:14:58 Triaged as an incident
Severity high. Error rate 41× the 30-minute baseline, clustered on POST /v1/charges; deploy f3a9c12 landed 18 minutes before the firing.
- 02:15:02 Investigation started
3 hypotheses · 3 passes each
- 02:31:44 Alert fired again (occurrence #2)
Folded into this issue after 16 quiet minutes; the running investigation was nudged.
- 03:06:12 Alert recovered
Provider recovery received. Issue resolved.
Здесь шум заканчивается. Каждый алерт проходит триаж.
-
Штормы сворачиваются
Сотня повторов одного и того же сигнала сворачивается в один.
-
Дубликаты распознаются
Повторное срабатывание попадает в ту проблему, к которой относится, вместо открытия новой, даже когда ваш провайдер перегруппировал его.
-
Решение по данным
Агент берёт реальный запрос, стоящий за вашим монитором, и метрику вокруг момента срабатывания и сравнивает их с нормой.
-
Инцидент или шум
Шум отправляется в архив. Инциденты расследуются сами, а когда ваш провайдер сообщает о восстановлении, проблема тоже закрывается.