Kinescope - История уведомлений

Мы считаем эпизод разрешенным, сервис был недоступен в течение 4 минут, мы изучим проблему с чатом более детально и он станет вновь доступен. 🙏 Приносим извинения за доставленные неудобства!

✅ Мы выявили что проблема связана с работой сервиса чата и временно отключили его. Работа остальных сервисов была восстановлена.

🚨 В настоящий момент мы наблюдаем проблемы с доступностью сервиса. Предположительно это связано с работой базы данных, мы уже разбираемся с проблемой.

API is now operational! This update was created by an automated monitoring service.

kinescope.io is now operational! This update was created by an automated monitoring service.

API is now operational! This update was created by an automated monitoring service.

✅ Инцидент разрешен, работа сервисов полностью восстановлена. Приносим извинения за причиненные неудобства.

В чем была проблема:
Сетевые инженеры выявили перегрузку на линии ЦОД - ЦОД, которая привела к замедлению запросов в рамках как межсетевого взаимодействия сервисов и БД, так и ориджинации трафика в CDN.

Что мы сделали:
После устранения перегрузки скорость запросов внутри сети нормализовалась, работа сервисов полностью восстановлена. При работе с панелью управления рекомендует перелогиниться в личном кабинете, сбросить кэш.

Что будем делать чтобы не повторилось:
Для предотвращения повторения ситуации мы исследуем природу трафика и маршрут, который привел к перегрузке выделенного канала связи большой емкости, добавим внутренные алерты на этот канал и превентивное срабатывание автоматики.

Решили проблему с загрузкой видео плеера. Обнаружили проблему с отдельной группой запросов на редирект с ошибками к несуществующим ассетам. Временно реализовали отдельный сервис который обрабатывает их отдельно. Продолжаем изучение инцидента.

Удалось выяснить что резко выросло время работы с базой данных, при этом сама база данных не страдает, долгих запросов в ней не висит. Дополнительно изучаем внутреннюю сеть на предмет задержек. Просим прощения за причиненные неудобства, в решении проблемв участвуют специалисты всех профилей.

🚨 Точная причина сбоя сервиса пока выясняется, поэтому сроки решения назвать не можем. Инфраструктура и видео в безопасности, проблема программная, приводит к замедленному ответу на запросы сервиса который отвечает за загрузку плеера и панели управления .

Причина частичной недоступности связана с программным сбоем в одном из внутренних сервисов. Все видео в полной сохранности, инфраструктурных сбоев не наблюдается. Отмечается замедление загрузки контента в панели управления и встроенных плеерах, а также API

Инцидент полностью решен, загрузка снова доступна через UI и API. Приносим извинения за неудобства.

API is now operational! This update was created by an automated monitoring service.

API is now operational! This update was created by an automated monitoring service.