Intel Gaudi 3: как посчитать стоимость инференса
Сравнить предложения по аренде Gaudi 3 и GPU можно на одном наборе запросов. Покажем расчёт цены миллиона выходных токенов с учётом простоя.
Узел на базе HLB-325 объединяет восемь Gaudi 3. У каждого ускорителя 128 ГБ HBM2e и до 3,7 ТБ/с пропускной способности памяти. Для первого теста укажите точную версию модели, формат весов и движок с поддержкой Gaudi. Проверьте, что он выполняет нужные операции и выдаёт приемлемое качество на ваших примерах.
Возьмите реальные пропорции коротких и длинных запросов. Зафиксируйте ограничение на время до первого токена и допустимую долю ошибок. Постепенно повышайте параллельность, пока сервис укладывается в эти требования. Считайте выходные токены успешно завершённых ответов, а объём входных токенов укажите рядом, чтобы сравнение можно было повторить.
Разделите стоимость аренды за весь период на число миллионов выходных токенов за тот же период. Условный пример: за сутки узел стоил 24 000 ₽ и выдал 12 млн токенов. Получается 2 000 ₽ за миллион. При той же суточной плате и ночном простое, снизившем выпуск до 6 млн, миллион обойдётся в 4 000 ₽. Цифры иллюстрируют формулу, действующий тариф поставщик подтверждает отдельно.
Перед заказом запросите стоимость узла целиком, минимальный оплачиваемый период и состав тарифа. Добавьте платные хранение и передачу данных, если они нужны. Стоимость переноса приложения на Gaudi распределите на ожидаемый объём работы: разовый перенос может окупиться на постоянной нагрузке, но сильно изменить экономику короткого проекта.
Частые вопросы
Как быстро запускается GPU?
Срок запуска зависит от модели GPU, их количества и наличия мощностей. Мы называем его при заявке вместе с ценой и конфигурацией.
Что входит в инстанс?
Состав зависит от выбранного предложения. До запуска согласуем GPU, CPU, RAM, диски, сеть, окружение, способ доступа и границы технической поддержки.
Как проходит оплата?
Безналичная оплата по договору: счёт, закрывающие документы. Порядок расчётов и стоимость фиксируем в коммерческом предложении.
Нужно ли описывать задачу?
Нет. Если конфигурация известна, достаточно указать оборудование, количество, срок аренды и желаемую дату запуска. Замену параметров согласуем отдельно.
Кто представляет VikiCloud?
Проект представляет ООО «Кьюбиэс». Контрагента, порядок оплаты и обязанности сторон фиксируем в документах до заказа.
Можно протестировать GPU перед арендой?
Пробный доступ обсуждаем индивидуально под задачу — уточните это в заявке, и мы предложим формат теста вместе с расчётом.
Заявка
Получить расчёт
Укажите конфигурацию и срок аренды. Если нужна помощь с выбором, добавьте описание нагрузки — это необязательно.