Обучение LoRA для MiniMax H3: полное руководство по дообучению для пользовательских видеостилей

Обзор ИИ

Что такое обучение LoRA для MiniMax H3?

Обучение LoRA для MiniMax H3 учит небольшой адаптер определённому персонажу, визуальному стилю, продукту или движению, при этом базовая модель H3 объёмом 33 млрд параметров остаётся замороженной. Экспортированный адаптер значительно меньше полного чекпоинта и может комбинироваться с базовой моделью во время вывода.

Сколько видеопамяти (VRAM) требуется для локального обучения LoRA MiniMax H3?

Универсальный минимальный объём не публиковался. Рассматривайте 16 ГБ как агрессивную цель при снижении разрешения, а 24 ГБ — как более практичную отправную точку; 12 ГБ могут подойти только при использовании сильной квантования, выгрузки на CPU/GPU, коротких клипов и значительного объёма системной ОЗУ.

Сколько видео необходимо для набора данных LoRA MiniMax H3?

Облачные тренеры принимают как минимум 10 клипов; более надёжной практической целью являются 50–200 чистых, разнообразных клипов. Нормализуйте частоту кадров до 24 кадров/с и используйте допустимые длины в кадрах по формуле 17n+5: 22, 39, 56, 73, 90, 107 или 124 кадра для текущего тренера.

Можно ли обучать LoRA MiniMax H3 без локальной видеокарты?

Да. Хостинговые тренеры fal принимают ZIP-архив с набором данных и возвращают адаптер в формате .safetensors. Три опубликованных конечных точки тренеров охватывают четыре цели: T2V, I2V / first-frame, first-last-frame-вывод с использованием I2V LoRA и Ref2VA.

Почему стоит обучать LoRA для MiniMax H3

MiniMax H3 — это совместная видео-аудио DiT-модель объёмом 33 млрд параметров, предназначенная для обобщения по объектам, стилям, движениям камеры и звуку. Такая универсальность полезна, однако общая модель не будет автоматически сохранять один и тот же вымышленный персонаж, точную отделку продукта или фирменный язык движений в десятках кадров. LoRA добавляет небольшой набор обучаемых низкоранговых обновлений, оставляя веса базовой модели замороженными.

Обучайте LoRA, когда повторные запросы и ссылочные изображения всё ещё приводят к отклонениям. Наборы данных с персонажами могут научить стабильному лицу, костюму и силуэту в разных локациях. Наборы данных с продуктами могут укрепить геометрию, материалы, расположение логотипа и предпочтительное освещение для рекламы. LoRA для движений может смещать поведение H3 в сторону повторяющейся орбиты, танцевального словаря или шаблона переходов. LoRA — это не инструмент исправления плохих подписей или противоречивых клипов: она усиливает закономерности набора данных, включая его ошибки.

MiniMax H3 T2V · официальный базовый вывод до дообучения с пользовательской LoRA

Используйте реальный базовый рендер, подобный этому, чтобы определить, что именно должен улучшать адаптер. Если цель — лишь ускорение локальной выборки, а не создание новой идентичности или стиля, вместо этого воспользуйтесь руководством по Turbo LoRA для MiniMax H3.

Четыре тренера LoRA для H3: пояснение

Для H3 существует четыре полезные цели обучения LoRA, однако текущий хостинговый API предоставляет три конечные точки тренеров. Работа с first-last-frame переиспользует семейство адаптеров I2V: обучение проводится с условием первого кадра, а затем конечный кадр подаётся на конечную точку вывода I2V с включённым LoRA.

Выбирайте T2V, когда запрос должен вызывать концепцию без изображения. Выбирайте I2V/FLF2V, когда исходный кадр служит якорем идентичности. Выбирайте Ref2VA, когда техническое задание на производство зависит от смешанных ссылочных изображений, видео или аудио. Для сравнения без обучения одних и тех же исходных режимов протестируйте рабочую область «Текст в видео» перед тем, как выделить набор данных.

Подготовка набора данных: клипы, подписи и сетка кадров по правилу 17n+5

Поместите видео и подписи в одну папку с совпадающими базовыми именами: shot_001.mp4 и shot_001.txt. Используйте форматы .mp4, .mov, .avi или .mkv; в каждом клипе должен быть один объект, удалите монтажные склейки и водяные знаки, избегайте почти дублирующих клипов. Подписи должны чётко указывать постоянную концепцию, а также видимое действие, движение камеры и звук — не просто набор расплывчатых ключевых слов. В руководстве по промптингу для MiniMax H3 приведена полезная структура подписей.

Нормализуйте каждый клип до 24 кадров/с. H3 использует правило количества кадров кадры = 17n + 5; хотя математически допустимо значение 5, текущий хостинговый тренер принимает от 22 до 124 кадров, поэтому используйте значения 22, 39, 56, 73, 90, 107 или 124. Сначала обрежьте клип, затем проверьте количество кадров, а не полагайтесь на метки продолжительности.

Начните с минимум 10 клипов только для тестирования конвейера. Для полезного адаптера персонажа или стиля лучше использовать диапазон от 50 до 200 разнообразных, хорошо аннотированных клипов. Выделите 10–15 % клипов для валидации. Варьируйте композицию, фон, угол камеры и движение, сохраняя при этом целевую идентичность неизменной.

Реальный исходный I2V-кадр H3 из официального рабочего процесса. Обучающие данные для LoRA продукта должны сохранять детали с такой же точностью, варьируя при этом дизайн кадра.

MiniMax H3 I2V · официальный вывод «исходное изображение → движение»

Локальное обучение с помощью ai-toolkit и ComfyUI

Коммит 8502a84 в репозитории ai-toolkit добавил поддержку генерации видео из текста (T2V) с использованием модели MiniMax H3 и обучение генерации видео из изображения (I2V) с условием на первый кадр. Используйте именно этот коммит или более новую версию. В нём загружается обрезанная int8-версия трансформера ConvRot H3 и текстовый энкодер Qwen3-VL в квантованном формате NVFP4/AWQ, обучение выполняется с использованием FlowMatch, а экспортируемые ключи LoRA совместимы с ComfyUI. Сэмплер H3 прошёл guidance-дистилляцию, поэтому значение параметра sampling guidance следует оставить равным 1, а не настраивать классический CFG.

Используйте приведённый ниже фрагмент как целевой стартовый блок внутри задания ai-toolkit — это не полный, независимый от оборудования рецепт:

network:
  type: lora
  linear: 16
  linear_alpha: 16
train:
  steps: 2000
  noise_scheduler: flowmatch
  optimizer: adamw8bit
  lr: 2e-4
model:
  name_or_path: MiniMaxAI/MiniMax-H3
  arch: minimax_h3
  quantize: true
  model_kwargs:
    partition: fl2va
sample:
  guidance_scale: 1

В реализации H3 внутренне используется сдвиг FlowMatch для видео 12 и для аудио 3; не перезаписывайте эти значения с помощью общего пресета для изображений. Для I2V включите условие на первый кадр в наборе данных и убедитесь в корректности источника кадров перед запуском длительного обучения. Кэшируйте латентные представления и текстовые эмбеддинги, сохраняйте чекпоинты каждые 250–500 шагов и проверяйте результаты на одном и том же фиксированном наборе промптов при каждом сохранении. ComfyUI служит интерфейсом для анализа и генерации после обучения; полное руководство по настройке H3 в ComfyUI содержит информацию о базовых файлах и графах.

Обучение в облаке на fal без локального GPU

1. Упакуйте парные видео и соответствующие .txt-файлы с подписями в ZIP-архив; при необходимости добавьте специфичные для тренера сайдкары с первым кадром или референсным изображением.
2. Выберите тренер T2V, I2V или Ref2VA в соответствии с таблицей выше.
3. Задайте количество шагов, ранг, скорость обучения, количество кадров, разрешение и вероятность применения условий.
4. Запустите короткий тест, проанализируйте выходные данные валидации, затем увеличьте продолжительность только если качество концепции продолжает улучшаться.
5. Скачайте возвращаемый адаптер в формате .safetensors и файл конфигурации.

Текущие схемы по умолчанию предполагают 2000 шагов, ранг 32, скорость обучения 2e-4, частоту кадров 24 к/с и 73 кадра; допустимые значения ранга — от 8 до 128. Оплата рассчитывается за каждый шаг обучения, поэтому надёжной оценкой стоимости до запуска является живая оценка в интерфейсе сервиса, а не скопированное из блога число. Для использования сервиса не требуется локальная видеопамять VRAM, однако качество набора данных и тестирование чекпоинтов остаются вашей ответственностью.

MiniMax H3 Ref2VA · официальный вывод с миксом референсов

Ключевые гиперпараметры — ранг, скорость обучения и количество шагов

Ранг определяет ёмкость, а не «слайдер качества». Более высокий ранг увеличивает размер файла и может привести к более быстрому запоминанию фона или лиц. Скорость обучения контролирует величину обновлений весов; снижайте её, если текстура становится чрезмерно резкой или адаптер «затмевает» промпты. Количество шагов следует определять по результатам валидации, а не по достижению «круглого» числа. Если все промпты воспроизводят одну и ту же композицию — откатитесь к более раннему чекпоинту или повысьте разнообразие данных.

Использование обученного LoRA в Seedance и ComfyUI

Для H3 в ComfyUI скопируйте адаптер в каталог ComfyUI/models/loras/, обновите список моделей, загрузите его после диффузионной модели H3 и начните с силы воздействия 0.7–1.0. Убедитесь, что адаптер соответствует правильной базовой модели FL2VA или Ref2VA. Протестируйте триггерную фразу на удерживаемых (held-out) промптах, затем сравните результаты с базовой моделью при одинаковом seed, количестве кадров и настройках сэмплера.

Стандартный браузерный рабочий процесс Seedance не предоставляет произвольный загрузчик .safetensors. Практическим решением является генерация одного яркого кадра или короткого референсного видео в H3, а затем использование этого ресурса в Seedance Image to Video для браузерной анимации, доработки и производства. Это позволяет сохранить пользовательское обучение в открытой стеке H3, одновременно используя Seedance для более быстрой хостинговой финальной обработки.

Создайте своё следующее видео с Seedance →

Заключение

Обучение LoRA для MiniMax H3 оправдано, когда важнее повторяемость персонажа, продукта, стиля или движения, чем получение одного качественного клипа: сначала выберите режим условий, подготовьте чистый набор данных с частотой 24 к/с на сетке 17n+5, начните с ранга 16 и осторожной валидации, а завершайте обучение на лучшем чекпоинте, а не по достижении максимального числа шагов. Используйте ai-toolkit для локального контроля или fal — если у вас нет GPU, затем загрузите адаптер в H3/ComfyUI и передавайте утверждённые ресурсы в Seedance, когда нужен более простой путь производства через браузер.