Материалы по теме «llm»
Гайд
AMD MI355X или NVIDIA B300 для инференса LLM
У серверов с восемью MI355X и восемью B300 одинаковый суммарный объём памяти. Как понять, на каком из них выгоднее запускать вашу модель?
ГайдIntel Gaudi 3: как посчитать стоимость инференса
Сравнить предложения по аренде Gaudi 3 и GPU можно на одном наборе запросов. Покажем расчёт цены миллиона выходных токенов с учётом простоя.
ГайдЧто нужно для обучения своей модели
Данные, GPU и на что реально уходит время и бюджет.
ГайдСколько GPU нужно для Qwen 72B на 300 пользователей
Расчёт по архитектуре модели и KV cache, а не угадывание «300 юзеров = N карт».
КейсДообучение LLM на переписке поддержки
Типовой сценарий: адаптировать open-source LLM под тон и терминологию компании.
КейсRAG-поиск по внутренним документам
Типовой сценарий: подключить LLM к базе знаний компании.
ЗадачаFine-tuning LLM
Дообучение моделей на ваших данных: LoRA, QLoRA, полный fine-tuning.
ЗадачаInference
Продакшен-инференс LLM и мультимодальных моделей: vLLM, TGI, Triton.
ЗадачаLLM / Training
Предобучение и обучение больших моделей на многоGPU-серверах.