Kinescope - Notice history

Проблема была локализована. Запрос на создание рамочной структуры глубокой вложенности содержал аномалию в результате чего база данных перестала отвечать. Удаление новых данных из базы и реиндексация потребовали большего времени чем ожидалось. В результате в 18:15 работа базы данных была восстановлена, все сервисы работают штатно. Мы продолжим изучение инцидента с нашими DBA и примем меры для того чтобы он не повторился.

Локализовали проблему, запустили перестройку индекса БД, это займет около 40 минут.

kinescope.io is now operational! This update was created by an automated monitoring service.

Normal operation of the origination system has been restored.

The problem has been localized and is related to the unavailability of the content origination server over the network.

API is now operational! This update was created by an automated monitoring service.

kinescope.io is now operational! This update was created by an automated monitoring service.

API is now operational! This update was created by an automated monitoring service.

kinescope.io is now operational! This update was created by an automated monitoring service.

✅ Инцидент разрешен, работа сервисов полностью восстановлена. Приносим извинения за причиненные неудобства.

В чем была проблема:
Сетевые инженеры выявили перегрузку на линии ЦОД - ЦОД, которая привела к замедлению запросов в рамках как межсетевого взаимодействия сервисов и БД, так и ориджинации трафика в CDN.

Что мы сделали:
После устранения перегрузки скорость запросов внутри сети нормализовалась, работа сервисов полностью восстановлена. При работе с панелью управления рекомендует перелогиниться в личном кабинете, сбросить кэш.

Что будем делать чтобы не повторилось:
Для предотвращения повторения ситуации мы исследуем природу трафика и маршрут, который привел к перегрузке выделенного канала связи большой емкости, добавим внутренные алерты на этот канал и превентивное срабатывание автоматики.

Решили проблему с загрузкой видео плеера. Обнаружили проблему с отдельной группой запросов на редирект с ошибками к несуществующим ассетам. Временно реализовали отдельный сервис который обрабатывает их отдельно. Продолжаем изучение инцидента.

Удалось выяснить что резко выросло время работы с базой данных, при этом сама база данных не страдает, долгих запросов в ней не висит. Дополнительно изучаем внутреннюю сеть на предмет задержек. Просим прощения за причиненные неудобства, в решении проблемв участвуют специалисты всех профилей.

🚨 Точная причина сбоя сервиса пока выясняется, поэтому сроки решения назвать не можем. Инфраструктура и видео в безопасности, проблема программная, приводит к замедленному ответу на запросы сервиса который отвечает за загрузку плеера и панели управления .

Причина частичной недоступности связана с программным сбоем в одном из внутренних сервисов. Все видео в полной сохранности, инфраструктурных сбоев не наблюдается. Отмечается замедление загрузки контента в панели управления и встроенных плеерах, а также API

Incident resolved fully, uploads again available over UI and API. We apologize for inconvenience.

API is now operational! This update was created by an automated monitoring service.

API is now operational! This update was created by an automated monitoring service.