Дообучение LLM на переписке поддержки
Команда хочет, чтобы модель отвечала на типовые обращения клиентов в стиле компании и с учётом её терминологии, не отправляя переписку во внешний API.
Как обычно решают такую задачу
Берут open-source модель 7–13B параметров и датасет из нескольких тысяч размеченных диалогов.
Дообучают методом LoRA/QLoRA — это не требует полного дообучения всех весов и укладывается в память одной GPU с 80 ГБ.
После обучения модель разворачивают на inference с той же или менее мощной GPU, в зависимости от нагрузки.
Подходящие GPU
Подробнее о задаче: fine-tuning
Частые вопросы
Как быстро запускается GPU?
Срок запуска зависит от модели GPU, их количества и наличия мощностей. Мы называем его при заявке вместе с ценой и конфигурацией.
Что входит в инстанс?
Готовая вычислительная инфраструктура: NVIDIA GPU, CUDA, драйверы, Docker, хранилище, сеть, SSH/API-доступ и техническая поддержка.
Как проходит оплата?
Безналичная оплата от юридического лица по договору: счёт, закрывающие документы, НДС где применимо. Порядок расчётов и стоимость фиксируем в коммерческом предложении.
Можно ли потом перейти на собственный сервер?
Да. Когда аренда перестаёт быть экономически выгодной при постоянной загрузке, QBS поставит и настроит собственный GPU-сервер.
Заявка
Скоро открываем приём заявок
Публикуем юридическую информацию об обработке персональных данных — форма появится сразу после этого.
Приём заявок скоро откроется
Мы готовим юридическую информацию об обработке персональных данных, поэтому форма пока недоступна. Загляните чуть позже.