Kinescope - API and control panel disruptions – Incident details

All systems operational

API and control panel disruptions

Resolved
Major outage
Started over 1 year agoLasted about 3 hours

Affected

kinescope.io

Operational from 12:00 PM to 3:21 PM

Dashboard

Major outage from 12:00 PM to 3:21 PM

Uploading

Major outage from 12:00 PM to 3:21 PM

Transcoding

Operational from 12:00 PM to 3:21 PM

Player embeds

Operational from 12:00 PM to 3:21 PM

Live streaming

Operational from 12:00 PM to 3:21 PM

Updates
  • Resolved
    UTC
    Resolved

    Проблема была локализована. Запрос на создание рамочной структуры глубокой вложенности содержал аномалию в результате чего база данных перестала отвечать. Удаление новых данных из базы и реиндексация потребовали большего времени чем ожидалось. В результате в 18:15 работа базы данных была восстановлена, все сервисы работают штатно. Мы продолжим изучение инцидента с нашими DBA и примем меры для того чтобы он не повторился.

  • Identified
    UTC
    Identified

    Локализовали проблему, запустили перестройку индекса БД, это займет около 40 минут.

  • Investigating
    UTC
    Investigating

    В результате выполнения длинного запроса к базе данных появились признаки деградации последний, которые прогрессировали, что привело к невозможности зайти в панель управления и недоступности API. Проигрывание видео не страдает, контент в безопасности. Наши инженеры изучают проблему.