AMD MI355X или NVIDIA B300 для инференса LLM
У серверов с восемью MI355X и восемью B300 одинаковый суммарный объём памяти. Как понять, на каком из них выгоднее запускать вашу модель?
Начните с одной реплики модели. Например, 70 млрд параметров в BF16 занимают примерно 140 ГБ только под веса: каждый параметр требует двух байтов. К ним прибавляются кеш внимания, рабочая память и резерв рантайма. Проверьте пиковое потребление при самом длинном запросе, который сервис обязан обработать.
У MI355X на каждом ускорителе 288 ГБ HBM3e с пропускной способностью до 8 ТБ/с. В узле из восьми ускорителей суммарно 2 304 ГБ. Эта память распределена между устройствами: реплике на одном ускорителе доступна память этого ускорителя. Если реплика помещается целиком, сравните несколько независимых реплик с разбиением одной модели между GPU.
До аренды узла проверьте программное окружение. Запишите версию модели, движка, формат весов и сторонние расширения. Для MI355X нужен совместимый стек ROCm. Если приложение использует собственное CUDA-ядро, сначала проверьте его замену на коротком наборе запросов и сравните качество ответов.
Для выбора платформы воспроизведите один и тот же час нагрузки: те же входные тексты, длины ответов и число одновременных пользователей. Замерьте время до первого токена для 95% запросов, скорость генерации и число успешно завершённых ответов. Победит конфигурация, которая выдержит вашу задержку и даст меньшую стоимость обработки за месяц.
Частые вопросы
Как быстро запускается GPU?
Срок запуска зависит от модели GPU, их количества и наличия мощностей. Мы называем его при заявке вместе с ценой и конфигурацией.
Что входит в инстанс?
Состав зависит от выбранного предложения. До запуска согласуем GPU, CPU, RAM, диски, сеть, окружение, способ доступа и границы технической поддержки.
Как проходит оплата?
Безналичная оплата по договору: счёт, закрывающие документы. Порядок расчётов и стоимость фиксируем в коммерческом предложении.
Нужно ли описывать задачу?
Нет. Если конфигурация известна, достаточно указать оборудование, количество, срок аренды и желаемую дату запуска. Замену параметров согласуем отдельно.
Кто представляет VikiCloud?
Проект представляет ООО «Кьюбиэс». Контрагента, порядок оплаты и обязанности сторон фиксируем в документах до заказа.
Можно протестировать GPU перед арендой?
Пробный доступ обсуждаем индивидуально под задачу — уточните это в заявке, и мы предложим формат теста вместе с расчётом.
Заявка
Получить расчёт
Укажите конфигурацию и срок аренды. Если нужна помощь с выбором, добавьте описание нагрузки — это необязательно.