Kinescope - Notice history

✅ Инцидент разрешен, работа сервисов полностью восстановлена. Приносим извинения за причиненные неудобства.

В чем была проблема:
Сетевые инженеры выявили перегрузку на линии ЦОД - ЦОД, которая привела к замедлению запросов в рамках как межсетевого взаимодействия сервисов и БД, так и ориджинации трафика в CDN.

Что мы сделали:
После устранения перегрузки скорость запросов внутри сети нормализовалась, работа сервисов полностью восстановлена. При работе с панелью управления рекомендует перелогиниться в личном кабинете, сбросить кэш.

Что будем делать чтобы не повторилось:
Для предотвращения повторения ситуации мы исследуем природу трафика и маршрут, который привел к перегрузке выделенного канала связи большой емкости, добавим внутренные алерты на этот канал и превентивное срабатывание автоматики.

Решили проблему с загрузкой видео плеера. Обнаружили проблему с отдельной группой запросов на редирект с ошибками к несуществующим ассетам. Временно реализовали отдельный сервис который обрабатывает их отдельно. Продолжаем изучение инцидента.

Удалось выяснить что резко выросло время работы с базой данных, при этом сама база данных не страдает, долгих запросов в ней не висит. Дополнительно изучаем внутреннюю сеть на предмет задержек. Просим прощения за причиненные неудобства, в решении проблемв участвуют специалисты всех профилей.

🚨 Точная причина сбоя сервиса пока выясняется, поэтому сроки решения назвать не можем. Инфраструктура и видео в безопасности, проблема программная, приводит к замедленному ответу на запросы сервиса который отвечает за загрузку плеера и панели управления .

Причина частичной недоступности связана с программным сбоем в одном из внутренних сервисов. Все видео в полной сохранности, инфраструктурных сбоев не наблюдается. Отмечается замедление загрузки контента в панели управления и встроенных плеерах, а также API

Incident resolved fully, uploads again available over UI and API. We apologize for inconvenience.

API is now operational! This update was created by an automated monitoring service.

API is now operational! This update was created by an automated monitoring service.