Альфа-Банк завёл InfiniBand и GPUDirect в Kubernetes: GPUaaS за 3 месяца

⚡ Главное за 5 секунд

• Альфа-Банк вывел в продакшен GPUaaS на Kubernetes с InfiniBand, RDMA и GPUDirect — три месяца от нуля до рабочего стека.
• Команды разведены партициями InfiniBand (Partition Key), ОС раскатывает Ansible, квоты и ресурсы — Argo CD.
• Всё собрано на open source без лицензионных решений; GPU Operator настроен через MIG и Time Slicing.

🔍 Что случилось

Инженер под ником DevEvgenii в блоге Альфа-Банка на Хабре разобрал, как банк за три месяца собрал и вывел в продакшен GPUaaS — общий пул GPU для ИИ-команд, on-prem и в облаке. Задача была не «поставить видеокарты», а завести в Kubernetes связку InfiniBand + RDMA + GPUDirect. Обычно её настраивают на голом железе, а готовых рецептов для оркестратора в русскоязычном комьюнити, по словам автора, нет — статья на Хабре.

Механика по шагам. На хост ставят пакеты DOCA-Networking — внутрь входят doca-ofed, roce и host-basic, — либо полный DOCA-ALL, плюс nvidia-driver, nvidia-fabricmanager и nvidia-utils. Дальше GPU Operator с MIG и Time Slicing. Команды разведены партициями InfiniBand: доступ к чужой видеопамяти и интерфейсам закрыт на уровне Partition Key. Рутину убрали через GitOps — ОС раскатывает Ansible, квоты и ресурсы ведёт Argo CD.

🧠 Наш разбор

Причина, по которой такой текст вообще появился, — экономика. GPU стоят дорого, а простаивать начинают ровно тогда, когда под каждый проект их закупают отдельно и ждут поставку месяцами. Автор прямо пишет: платформа снимает проблему простоя дорогого оборудования. Мне это кажется главным аргументом, а не три месяца сроков — как раз сроки похожи на нормальные для инфраструктурной команды, которая уже умеет в Kubernetes.

Что здесь меняется по сути — мультитенантность. Обычно GPU в кластере отдают «как есть», и сосед по железу видит больше, чем хотелось бы. Изоляция по видеопамяти через MIG и Partition Key — самый труднопроверяемый кусок, и его чаще всего откладывают на потом. Наша оценка: ценность статьи не в «мы смогли», а в перечислении конкретных пакетов и инструментов, которые можно повторить у себя.

Кто выигрывает — понятно: ИИ-команды, которым мощности выдают из пула, а не через закупку. Кто проигрывает — честно, не уверен, что кто-то. Разве что те, кто продолжит городить bare-metal под каждый проект. По опыту, такие стеки живут ровно до первого человека, который уходит и уносит знание, как всё собрано. GitOps здесь и есть страховка от этого.

⚠️ Чего мы не знаем

В статье нет ни одной цифры по железу: сколько GPU, какие модели, сколько узлов, какая пропускная способность RDMA в замерах, во сколько всё обошлось. Есть только сроки — три месяца. Утверждение «на рынке мало экспертизы» проверить нечем: это слова автора, а не исследование. Источник один — сама статья, и относиться к ней стоит как к хорошему кейсу, а не как к бенчмарку.

Прогноз: В течение квартала выйдет ещё минимум один публичный кейс GPUaaS на Kubernetes с GPUDirect RDMA от российской компании — если дефицит GPU и простой оборудования останутся главной болью рынка.

Источник: Хабр / Альфа-Банк