Как более правильно организовать инфраструктуру проекта?

[X-Clusiv]

Здравствуйте коллеги!
Не за горами открытие проекта.
Пока не могу разглашать подробности, но дело идет к первым тестам.
Имею не большой опыт в DevOps. Но хочется сразу сделать если уж не на отлично, то на твердое хорошо, уже на тестовых запусках.
Вопросы следующие:
Какой подход лучше всего выбрать для организации инфраструктуры проекта?

• Какие могут быть узкие места Проц, память, диск?(Понимаю что все от мода зависит но всеже)
• Есть несколько сервисов которые запускаются параллельно основному серверу. Где их лучше размещать?
• FastDL есть ли какие-то подводные камни с ним, настраивал вроде работает, интересно как себя ведет при большой нагрузке
• Kubernetes стоит ли заморачиваться и запускать проект на кластере?
• Базы данных, выносить ли их в облако, или оставлять локально на машине?

У кого есть боевой опыт открытия проекта? Был бы рад послушать "крещенных боем".

• Какие проблемы возникали при большом онлайне?
• Подводные камни самого рейджа может есть?

 

[Dmitry_V]

Могу сказать пару слов про Фаст ДЛ, при большом онлайне(или дудосе) забивается порт. С одной стороны это удобно, что не лежит сервер, с другой должна быть высокая пропускная способность, иначе загрузка ресурсов может превратиться в очень "увлекательный" процесс.

 

[NΞITHΞR#0001]

По факту не раз видел, ситуация происходит такая:
Намечается открытие, 21.10 в 18:00, все готовятся заходить, в 18:01 кидают IPшник сервера, в 18:10 "нас дудосят"
При этом на всех серверах, никто никого не атаковал, это обычные запросы на скачивание от народа, которых 500+ одновременно, логично, что нужна хорошая сеть, которая выдержит такую нагрузку.
Итог в том, чтобы не только купить от 1гб инет, но ещё заранее скинуть людям файлы и настоять на том, чтобы они их скачали по ссылке, а не напрямую с сервера, ну а в случае реальной атаки - перекрыть скачивание файлов, а большинство тех, кто заранее скачали файлы - смогли бы играть в то время, пока идёт атака.

 

[Dmitry_V]

Ещё может быть прикол, что провайдер хостинга может просто сервер в блекхол кинуть от большого количества запросов. Если хост нормальный такого конечно не должно быть, но лучше стресс-тест до открытия провести.

 

[X-Clusiv]

По факту не раз видел, ситуация происходит такая:
Намечается открытие, 21.10 в 18:00, все готовятся заходить, в 18:01 кидают IPшник сервера, в 18:10 "нас дудосят"
При этом на всех серверах, никто никого не атаковал, это обычные запросы на скачивание от народа, которых 500+ одновременно, логично, что нужна хорошая сеть, которая выдержит такую нагрузку.
Итог в том, чтобы не только купить от 1гб инет, но ещё заранее скинуть людям файлы и настоять на том, чтобы они их скачали по ссылке, а не напрямую с сервера, ну а в случае реальной атаки - перекрыть скачивание файлов, а большинство тех, кто заранее скачали файлы - смогли бы играть в то время, пока идёт атака.

Хотелось бы обойтись без ссылок на скачивание. Лишние манипуляции на мой взгляд. Возможно можно сделать какой-то балансировщик? Создать не один FastDL сервер а несколько(с независимыми интернет каналами естественно).

 

[X-Clusiv]

Интересно CDN можно как-то задействовать? Там на сколько я понимаю не должно быть больших проблем с пропускной способностью?

 

[Dmitry_V]

Хотелось бы обойтись без ссылок на скачивание. Лишние манипуляции на мой взгляд. Возможно можно сделать какой-то балансировщик? Создать не один FastDL сервер а несколько(с независимыми интернет каналами естественно).

Излишнее. У тебя канал с пропускной способностью в 10 Гбит, даст скачать длс весом ~ 10 Гб примерно 600-700 людям одновременно со скоростью 10-15 Мбит.

 

[Dmitry_V]

О, вспомнил, уточни у хоста нет ли ограничений по трафику? А то помню был рофл когда после 1000 Гб обрезали скорость до 1-2 метров.

 

[sixkayxxx]

Главное обращаться к лучшему тестеровщику серверов для GTA 5! По остальным несущественным вопросам - к Дмитрию В

 

[UchihaMadara]

• Kubernetes стоит ли заморачиваться и запускать проект на кластере?

Если у тебя есть опыт в DevOps, то ты должен понимать, что любой профессиональный проект запускается на Kubernetes. Это основа основ.

На этом форуме никто кроме меня (и тебя получается) не работал с кубером. Не там вопрос задаешь))

Посмотри в сторону Portainer. Там можно легко связать Кубер с Докером.

 

[Dmitry_V]

Если у тебя есть опыт в DevOps, то ты должен понимать, что любой профессиональный проект запускается на Kubernetes. Это основа основ.

На этом форуме никто кроме меня (и тебя получается) не работал с кубером. Не там вопрос задаешь))

Посмотри в сторону Portainer. Там можно легко связать Кубер с Докером.

 

[fivepkost]

Не за горами открытие проекта.

Заинтриговал, теперь буду ждать с нетерпением

 

[enotit]

Ещё может быть прикол, что провайдер хостинга может просто сервер в блекхол кинуть от большого количества запросов. Если хост нормальный такого конечно не должно быть, но лучше стресс-тест до открытия провести.

У нас кстати был прикольный провайдер (не помню кто), которому мы сказали, что у нас "релиз" и он сидел параллельно, проверял по метрикам. ХЗ что ещё делал.

Спотыкнулись (не я) единожды, что взяли сервер на reg.ru с шириной провода 100мб, ну через 20 игроков у нас всё полегло.

Интересно CDN можно как-то задействовать? Там на сколько я понимаю не должно быть больших проблем с пропускной способностью?

Ну смотря какая ЦА, был работодатель из Тайланда, которому меж-национальность была основным поинтом и мы продумывали архитектуру клиента отдельно. CDN понадобился.

 

[MADARAdev]

По факту не раз видел, ситуация происходит такая:
Намечается открытие, 21.10 в 18:00, все готовятся заходить, в 18:01 кидают IPшник сервера, в 18:10 "нас дудосят"
При этом на всех серверах, никто никого не атаковал, это обычные запросы на скачивание от народа, которых 500+ одновременно, логично, что нужна хорошая сеть, которая выдержит такую нагрузку.
Итог в том, чтобы не только купить от 1гб инет, но ещё заранее скинуть людям файлы и настоять на том, чтобы они их скачали по ссылке, а не напрямую с сервера, ну а в случае реальной атаки - перекрыть скачивание файлов, а большинство тех, кто заранее скачали файлы - смогли бы играть в то время, пока идёт атака.

Можно использовать балансировщики нагрузки (например у nginx), в плане затрат на это уходит больше. Но при моментном потоке большого объема пользователей, он запросы раскидывает по нескольким серверам.

Задосить такую систему можно только если уложить главный сервер (от которого раскидываются запросы на другие)

 

[MADARAdev]

Если у тебя есть опыт в DevOps, то ты должен понимать, что любой профессиональный проект запускается на Kubernetes. Это основа основ.

На этом форуме никто кроме меня (и тебя получается) не работал с кубером. Не там вопрос задаешь))

Посмотри в сторону Portainer. Там можно легко связать Кубер с Докером.

Только сейчас увидел,

Kubernetes тоже имба с его HPA и LoadBalancer'ом, когда ты между подами раскидываешь нагрузку

 

[youngBeaver]

По факту не раз видел, ситуация происходит такая:
Намечается открытие, 21.10 в 18:00, все готовятся заходить, в 18:01 кидают IPшник сервера, в 18:10 "нас дудосят"
При этом на всех серверах, никто никого не атаковал, это обычные запросы на скачивание от народа, которых 500+ одновременно, логично, что нужна хорошая сеть, которая выдержит такую нагрузку.
Итог в том, чтобы не только купить от 1гб инет, но ещё заранее скинуть людям файлы и настоять на том, чтобы они их скачали по ссылке, а не напрямую с сервера, ну а в случае реальной атаки - перекрыть скачивание файлов, а большинство тех, кто заранее скачали файлы - смогли бы играть в то время, пока идёт атака.

адекватный релиз подразумевает не только наличие исправного продукта, но и анализ аудитории. Представим, что в данном случае у нас сервер для СНГ, значит автоматически понимаем, что ребята с условного Пакистана нашу кириллицу не знают, а значит и толку от их траффика нуль. Есть множество сайтов с динамикой вредных пакетов и другими полезными приколами.
Как пример таких ресурсов - https://www.digitalattackmap.com/
На открытии самый лучший способ скинуть хоть какую-то часть вредного траффика, это изначально банить айпишники азиатских стран, востока (Я имею в виду как раз Пакистан и страны поблизости) и ещё на всякий случай латинскую америку. Таким образом особо не потеряешь по клиентам, но сливки с ддоса явно снимешь. И логично, что все это имеет хоть какой-то смысл при наличие ещё множества инструментов и факторов (хостер, его инфраструктура, дополнительное ПО, которое анализирует поступающие пакеты на сервера).

 

[Harland David Sanders]

адекватный релиз подразумевает не только наличие исправного продукта, но и анализ аудитории. Представим, что в данном случае у нас сервер для СНГ, значит автоматически понимаем, что ребята с условного Пакистана нашу кириллицу не знают, а значит и толку от их траффика нуль. Есть множество сайтов с динамикой вредных пакетов и другими полезными приколами.
Как пример таких ресурсов - https://www.digitalattackmap.com/
На открытии самый лучший способ скинуть хоть какую-то часть вредного траффика, это изначально банить айпишники азиатских стран, востока (Я имею в виду как раз Пакистан и страны поблизости) и ещё на всякий случай латинскую америку. Таким образом особо не потеряешь по клиентам, но сливки с ддоса явно снимешь. И логично, что все это имеет хоть какой-то смысл при наличие ещё множества инструментов и факторов (хостер, его инфраструктура, дополнительное ПО, которое анализирует поступающие пакеты на сервера).

Согласен, здесь на форуме когда происходит DDOS перманентом включаю капчу для всех стран кроме СНГ и балтики.

 

[youngBeaver]

Согласен, здесь на форуме когда происходит DDOS перманентом включаю капчу для всех стран кроме СНГ и балтики.

Я бы попробовал еще добавить (или уменьшить цифру) правило на количество входящих пакетов с одного адресата. Вообщем то интернет кишит правилами для всего чего можно на linux, чтобы спасти сервер от проигрыша.

 

[fivepkost]

Согласен, здесь на форуме когда происходит DDOS перманентом включаю капчу для всех стран кроме СНГ и балтики.

А что, разве с Латвии не ддосят?))

 

[Harland David Sanders]

А что, разве с Латвии не ддосят?))

Дудосят везде, в том числе из СНГ, но большая часть это те страны, которым я включил капчу, тем самым 85-90% вредоносного трафика отсеивается банально капчей, а остальной процент дофильтровывается по кол-ву реквестов и коннектов с одного IP. Ну и еще момент что прикол с капчей автоматизирован, как только становится понятно что идет атака - включается капча на время атаки, атака закончилась - капча выключается.