Материалы по теме «inference»
Гайд
AMD MI355X или NVIDIA B300 для инференса LLM
У серверов с восемью MI355X и восемью B300 одинаковый суммарный объём памяти. Как понять, на каком из них выгоднее запускать вашу модель?
ГайдIntel Gaudi 3: как посчитать стоимость инференса
Сравнить предложения по аренде Gaudi 3 и GPU можно на одном наборе запросов. Покажем расчёт цены миллиона выходных токенов с учётом простоя.
ГайдСколько GPU нужно для Qwen 72B на 300 пользователей
Расчёт по архитектуре модели и KV cache, а не угадывание «300 юзеров = N карт».
КейсInference-сервис генерации изображений
Типовой сценарий: запустить продакшен-API поверх диффузионной модели.
ЗадачаInference
Продакшен-инференс LLM и мультимодальных моделей: vLLM, TGI, Triton.