Kinescope - 🚨 Отмечаются проблемы с загрузкой интерфейса панели управления и видео плеера. – Детали инцидента

✅ Инцидент разрешен, работа сервисов полностью восстановлена. Приносим извинения за причиненные неудобства.

В чем была проблема:
Сетевые инженеры выявили перегрузку на линии ЦОД - ЦОД, которая привела к замедлению запросов в рамках как межсетевого взаимодействия сервисов и БД, так и ориджинации трафика в CDN.

Что мы сделали:
После устранения перегрузки скорость запросов внутри сети нормализовалась, работа сервисов полностью восстановлена. При работе с панелью управления рекомендует перелогиниться в личном кабинете, сбросить кэш.

Что будем делать чтобы не повторилось:
Для предотвращения повторения ситуации мы исследуем природу трафика и маршрут, который привел к перегрузке выделенного канала связи большой емкости, добавим внутренные алерты на этот канал и превентивное срабатывание автоматики.

Решили проблему с загрузкой видео плеера. Обнаружили проблему с отдельной группой запросов на редирект с ошибками к несуществующим ассетам. Временно реализовали отдельный сервис который обрабатывает их отдельно. Продолжаем изучение инцидента.

Удалось выяснить что резко выросло время работы с базой данных, при этом сама база данных не страдает, долгих запросов в ней не висит. Дополнительно изучаем внутреннюю сеть на предмет задержек. Просим прощения за причиненные неудобства, в решении проблемв участвуют специалисты всех профилей.

🚨 Точная причина сбоя сервиса пока выясняется, поэтому сроки решения назвать не можем. Инфраструктура и видео в безопасности, проблема программная, приводит к замедленному ответу на запросы сервиса который отвечает за загрузку плеера и панели управления .

Причина частичной недоступности связана с программным сбоем в одном из внутренних сервисов. Все видео в полной сохранности, инфраструктурных сбоев не наблюдается. Отмечается замедление загрузки контента в панели управления и встроенных плеерах, а также API