Kinescope - Недоступность API и панели управления – Детали инцидента

Все системы работают

Недоступность API и панели управления

Решено
Полная недоступность
Началось больше 1 года назаддлился около 3 часов

Затронутые

kinescope.io

Работает от 12:00 PM до 3:21 PM

Dashboard

Полная недоступность от 12:00 PM до 3:21 PM

Uploading

Полная недоступность от 12:00 PM до 3:21 PM

Transcoding

Работает от 12:00 PM до 3:21 PM

Player embeds

Работает от 12:00 PM до 3:21 PM

Live streaming

Работает от 12:00 PM до 3:21 PM

Обновления
  • Решено
    UTC
    Решено

    Проблема была локализована. Запрос на создание рамочной структуры глубокой вложенности содержал аномалию в результате чего база данных перестала отвечать. Удаление новых данных из базы и реиндексация потребовали большего времени чем ожидалось. В результате в 18:15 работа базы данных была восстановлена, все сервисы работают штатно. Мы продолжим изучение инцидента с нашими DBA и примем меры для того чтобы он не повторился.

  • Определено
    UTC
    Определено

    Локализовали проблему, запустили перестройку индекса БД, это займет около 40 минут.

  • Изучается
    UTC
    Изучается

    В результате выполнения длинного запроса к базе данных появились признаки деградации последний, которые прогрессировали, что привело к невозможности зайти в панель управления и недоступности API. Проигрывание видео не страдает, контент в безопасности. Наши инженеры изучают проблему.