ОсновноеRadiotalkПользовательское
MyRadio24 - Сервис для создания интернет радио
139   •   Посмотреть все темы

DDOS атаки на наш сервис и перенос сервера

 

20094
Dimitry @Dimitry
DDOS атаки на наш сервис и перенос сервера

Информация о сбоях

Начиная с июля практически каждый день вечерами наш сервис атакуют из-за чего атакуемые listen сервера работают нестабильно.
Вчера 12 августа в 10 вечера на сервис обрушилось несколько DDOS-атак. Были атакованы главный сервер, live и listen1. Кроме этого от большой нагрузки возникли побочные проблемы и сбои которые требовали долгого восстановления из-за чего сервис не работал более 1 часа.
На данный момент работа частично восстановлена.
Обратите внимание что LIVE сервера могут временно работать со сбоями.

Перенос сервера этой ночью после 00:00 MSK

Для улучшения защиты от DDOS-атак мы вынуждены в срочном порядке перенести несколько серверов включая главный сервер в другой дата-центр. Сервера уже в процессе настройки. Перенос будет осуществлён этой ночью после 00:00 MSK. Весь сервис не будет доступен около 30 минут. При внезапных проблемах может и дольше.

Перенос сервера завершен в 00:50 MSK

Перенос прошёл практически без сбоев, станции не играли всего пару минут. Сервер работает достаточно хорошо, но как всегда покажет время. Тестируем несколько дней и надеемся что всё будет хорошо.
LIVE сервер теперь находится на отдельном сервере и на данный момент с ним есть небольшие проблемы. Следующей задачей будет оптимизировать LIVE сервер и вернуть статистику в программах вещания.

Текущая обстановка и что дальше

На данный момент перенесено 4 сервера, теперь главный сервер, live и большая часть listen серверов под улучшенной защитой.
LIVE сервер из-за того что он теперь работает отдельно требует серьёзной доработки, на данный момент есть проблемы:
- не передаётся статистика в Radioboss/SAM - исправлено
- не работает LIVE 2.0 вещание - исправлено
- иногда Auto-DJ может не подхватить LIVE поток - исправлено

20094
Dimitry @Dimitry
Обновлённая информация по атакам и защите

После переноса европейских серверов в новый Дата-Центр (ДЦ) мы намного лучше справляемся с атаками. Атаки так и продолжаются почти каждый день по 2-3 часа вечерами, но уже не доставляют больших перебоев в работе. Кроме этого, если один сервер подтормаживает, то новых слушателей перенаправляет на другой. Мы также заменили один рф сервер на более мощный, который значительно лучше противостоит атакам.

Новые проблемы в новом ДЦ - ИСПРАВЛЕНО 08.09.26

После переезда в новый Дата-Центр у нас появилась новая проблема стабильности. Примерно от 1-3 раз в день проседает трафик примерно на 1 минуту - от чего некоторые станции замолкают и слушатели вылетают. Мы уже неделю назад сообщили об этой проблеме в ДЦ и что самое важное они признали то, что проблема на их стороне. Они занимаются решением данной проблемы напрямую с производителем маршрутизаторов, но каких то сроков решения проблемы у нас пока нет. Переезжать куда-то ещё мы просто не сможем, так как нам нужна их защита от DOS-атак. Надеемся на скорейшее решение данной проблемы.
08.09.26 Дата-Центр прислал ответ что поэтапное введение нового оборудования исправило проблему зависаний. Наблюдаем!

Серьёзный сбой 1го сентября в 22:00 MSK в российском ДЦ

Вчера был масштабный сбой в ДЦ Selectel, от чего RU сервера (listen 7-10) по сути не работали около 2х часов. За 5 лет работы с данным ДЦ это первый такой крупный сбой. На данный момент все сервера работают в штатном режиме.

Для наших клиентов

Мы понимаем что подобные сбои для радиостанций это очень критический момент и каждый раз теряются слушатели. Но и вы поймите что мы делаем максимум из того что возможно! Таких проблем как за последние 2 месяца у сервиса не было за все 20 лет работы. Не смотря на то что сервера и так из-за ИИ стали дороже, так ещё и из-за ДОС-атак нам пришлось переходить на очень дорогие сервера. Вероятнее всего к 2027г придётся либо немного поднять цены на все тарифы, либо убрать дешёвый тариф за 3 евро.

Когда писать в поддержку о сбоях

Мы постоянно мониторим ситуацию и практически сразу видим все сбои. Так как на данный момент существует проблема краткосрочных сбоев в новом ДЦ, то о сбоях до 1-2х минут можете нам не писать. Если есть проблема с доступом к сервису или радио не играет более 10 минут, тогда лучше написать в поддержку или в телеграм канал по сбоям.

20094
Dimitry @Dimitry
Очередные проблемы связи между ДЦ - ИСПРАВЛЕНО 16.09.26

Не смотря на то что внутри дата-центра теперь проблем не наблюдается, вчера 12 сентября 3 раза примерно по 30-40 минут были проблемы связи с дата-центром России. Так как основная часть трафика у нас идёт через сервера России, просадки по слушателям были очень значительными. В завершении ужасного дня, также была атака на пару серверов, но сильных просадок не было.
16.09.26 - Дата-Центр улучшил маршрут между серверами, связь тебе выглядит стабильнее.

Что было сделано для улучшения ситуации

1. Надеемся что это была проблема одного дня на маршруте между дата-центрами.
2. Отправили письмо в ДЦ для разъяснения ситуации и вероятно улучшения маршрутов.
3. Немного улучшили распределение слушателей, направив больше слушателей через европейские сервера.
4. Немного улучшили систему перенаправления слушателей при полном отказе одного из серверов.
5. Улучшили настройки фаервола, теперь он должен лучше определять атаки на одну радиостанцию и агрессивнее блокировать ботов уменьшив перебои в работе.

20094
Dimitry @Dimitry
Возобновление стабильной работы

На данный момент за последние 2 недели были лишь незначительные перебои в работе. Всё работает относительно не плохо без сильно заметных сбоев. Кроме этого DDOS-атак за последнее время почти не было.

16.09.26 - улучшена связь и маршрут между серверами Европы и России
23.09.26 - исправлена ошибка в серверах вещания (при нагрузке или атаках сервер отключался)
01.10.26 - улучшена связь с облачными файлами за счёт переноса второго сервера (после переезда половина файлов оставалась на старом сервере в другом ДЦ с которым связь была хуже - теперь всё в одном ДЦ)

Какие проблемы стабильности остались

Всё ещё изредка проседает связь между ДЦ Европы и России. Бывает довольно редко, примерно раз в 3 дня и всего на несколько секунд. Причины пока не найдены. Вероятно что это нормальная ситуация когда в мире проседают маршруты / каналы из-за каких то внешних факторов или общей перегрузки сети.