Tutorial de AI Movie Studio V2 para ComfyUI: instalación, conexión y creación de una escena

AI Overview

¿Qué es AI Movie Studio 2?

Es un entorno de trabajo de producción cinematográfica de código abierto para organizar escenas, referencias y planos, mientras envía tareas de generación a instancias locales de ComfyUI o a proveedores en la nube.

¿Necesito ComfyUI para usar AI Movie Studio 2?

Necesitas ComfyUI para la generación local. Los controladores exclusivos de la nube pueden funcionar sin una GPU local, pero requieren las credenciales correspondientes del proveedor.

¿Qué puertos utiliza la configuración local?

Los valores predeterminados son ComfyUI en el puerto 8188, el backend en el 8001 y el frontend en el 3000. Verifica cada servicio antes de solucionar problemas relacionados con la generación.

¿Puedo importar mi propio flujo de trabajo de ComfyUI?

Sí. Exporta API JSON, regístralo en Ajustes y resuelve cualquier punto de control faltante, LoRAs, VAEs o codificadores antes de ejecutarlo.

Qué aporta AI Movie Studio 2 a ComfyUI

Este tutorial de AI Movie Studio V2 ComfyUI comienza con una distinción clave que evita la mayor parte de la confusión: ComfyUI sigue siendo el motor de generación, mientras que AI Movie Studio 2 actúa como un entorno de trabajo cinematográfico alrededor de él. En lugar de reconstruir un único grafo gigantesco para todo el proyecto, organizas el proyecto en escenas, referencias y planos, y luego envías tareas específicas de imágenes o vídeos mediante un controlador.

El proyecto actual describe un flujo de trabajo basado en navegador y agnóstico respecto al modelo. Sus herramientas incluyen un escenario de cámara 3D, preajustes de planos, generación con múltiples referencias, variaciones de indicaciones (prompts), tomas repetidas (retakes), selección de LoRA, línea de tiempo, diálogo y audio, además de exportación XML para editores. La interfaz puede invocar instancias locales de ComfyUI o APIs en la nube compatibles. Dado que el proyecto se encuentra en desarrollo activo, considera el archivo README y el panel de Ajustes de tu versión instalada como la fuente de verdad; los nombres y las funciones experimentales pueden cambiar rápidamente.

Esta estructura resulta útil cuando tu verdadero desafío es la continuidad, no simplemente obtener un único fotograma espectacular. Una receta de escena puede contener las referencias de personaje, ubicación y accesorios. Un plano puede registrar el ángulo elegido y la receta de generación. Una toma rechazada puede volver a ejecutarse sin borrar el storyboard aprobado que la rodea.

Un concepto original de salida finalizada para esta guía. El abrigo rojo, la maleta plateada, el motel, el coche clásico, la lluvia y la luna desmesurada forman una receta de continuidad que puede verificarse entre distintos planos.

Antes de instalar

Elige entre generación local, remota o en la nube

La generación local con ComfyUI te otorga control directo sobre modelos y nodos, pero tú eres responsable del entorno de GPU, los archivos de modelos y los nodos personalizados. Un servidor remoto de ComfyUI mantiene ese control sobre el grafo en otra máquina. Los controladores en la nube reducen la carga de instalación, pero introducen costos del proveedor, credenciales y límites específicos del servicio. La guía comparativa de generadores de vídeo IA locales frente a los de la nube ayuda a evaluar esa decisión operativa antes de invertir en una configuración.

Para la instalación manual actual, prevé Python 3.10 o posterior, Node.js 18 o posterior y una instancia funcional de ComfyUI. Las recomendaciones oficiales de hardware establecen 8 GB de VRAM como nivel mínimo para trabajos con imágenes y clips cortos, 12–16 GB como rango de funcionamiento más amplio, y 24 GB o más para usos intensivos con múltiples referencias o por lotes. Estas son recomendaciones del proyecto, no garantías: tu modelo, resolución, número de fotogramas y cuantización determinan el uso real de memoria.

Mantén intencionalmente pequeña la primera prueba

Prepara un retrato de un personaje, una referencia de ubicación y un flujo de trabajo sencillo de imágenes que ya funcione directamente en ComfyUI. No empieces con una toma larga, múltiples LoRAs, clonación de voz y un nuevo modelo de vídeo simultáneamente. Una tarea pequeña y conocida como funcional te indica si la conexión y la asignación del controlador funcionan correctamente antes de que la complejidad creativa complique el diagnóstico.

Tutorial de AI Movie Studio V2 ComfyUI

1. Inicia ComfyUI y verifica el puerto 8188

Inicia ComfyUI en su propia terminal y confirma que su interfaz web se abre correctamente. La configuración predeterminada de AI Movie Studio espera http://127.0.0.1:8188. Si tu servidor usa otra dirección, un proxy inverso o autenticación, anótala antes de configurar el entorno de trabajo. No expongas una instancia de ComfyUI sin autenticación a Internet público únicamente para facilitar la conexión.

cd /path/to/ComfyUI
python main.py

Cola primero el pequeño flujo de trabajo conocido como funcional dentro de ComfyUI. Si falla, corrige ComfyUI antes de involucrar a AI Movie Studio 2.

2. Instala e inicia el backend

Desde el directorio backend del repositorio, instala los requisitos de Python. El comando actual para iniciar manualmente lanza la API en el puerto 8001; abre su punto final de estado (health endpoint) y asegúrate de obtener una respuesta satisfactoria antes de continuar.

cd backend
pip install -r requirements.txt
python main.py serve --reload

Mantén las claves secretas de los proveedores fuera de capturas de pantalla y archivos versionados. ComfyUI local funciona sin claves de la nube. Si posteriormente agregas un proveedor compatible en Ajustes, verifica qué se almacena localmente y reinicia el backend cuando la versión actual lo requiera.

3. Instala e inicia el frontend

Usa una tercera terminal para el frontend. Tras instalar las dependencias, el servidor de desarrollo normalmente se abre en el puerto 3000 y redirige las solicitudes al backend.

cd frontend
npm install
npm run dev
```Cree un proyecto únicamente después de que el navegador se haya cargado y la verificación de estado del backend haya tenido éxito. Si la interfaz se abre pero cada generación falla de inmediato, inspeccione la conexión entre el backend y ComfyUI en lugar de reinstalar el frontend.

### 4. Use Docker when repeatability matters

La ruta Docker inicia la pila de aplicaciones con un solo comando, pero no conteneriza ComfyUI en el diseño actual del proyecto. ComfyUI sigue ejecutándose en el host, normalmente en el puerto 8188, y el contenedor del backend accede a él mediante `host.docker.internal`. Ambos servicios de aplicación se vinculan a localhost de forma predeterminada, y los datos del proyecto persisten mediante montajes de enlace (bind mounts).

```text
docker compose up --build

Docker reduce la divergencia en las configuraciones de Python y Node. No resuelve la ausencia de archivos de modelos, un servidor ComfyUI inestable ni un flujo de trabajo que haga referencia a nodos no disponibles.

Una configuración correcta debe producir una nueva composición sin perder al personaje, el abrigo rojo, la maleta, el automóvil, la luna ni la lógica de iluminación.

Register a Custom ComfyUI Workflow

Export API JSON, not the visual workflow file

Construya y pruebe directamente el grafo en ComfyUI, luego guárdelo en formato API. El JSON de ejecución es lo que una aplicación externa puede encolar. Use un flujo de trabajo limpio con puntos de entrada evidentes para el prompt, la semilla (seed), el ancho, el alto y la imagen fuente. Un grafo que dependa de estados locales ocultos resulta más difícil de controlar de forma fiable para cualquier controlador.

Abra Ajustes en AI Movie Studio 2, busque Flujos de trabajo personalizados de ComfyUI y agregue el JSON exportado. Asigne un nombre para mostrar estable, un ID de controlador y una categoría de imagen o video. El analizador actual de flujos de trabajo escanea referencias a checkpoints, LoRAs, VAEs, CLIP o codificadores de texto, UNets, ControlNets y escaladores (upscalers), y luego los compara con la instancia conectada de ComfyUI.

Resolve models before testing parameters

Una advertencia por modelo faltante difiere de un problema de calidad en la generación. Coloque cada archivo en el directorio esperado por su nodo correspondiente, actualice la lista de modelos y confirme que la advertencia desaparezca. Solo entonces ajuste los pasos (steps), el valor CFG, la semilla (seed) o la intensidad del LoRA. Este orden evita que un error simple de ruta se convierta en horas de experimentación con prompts.

Cuando el flujo de trabajo aparezca en el selector de modelos, ejecute el mismo pequeño ejemplo de referencia y el mismo prompt utilizados en la prueba directa de ComfyUI. Compare las dimensiones de la salida, el comportamiento de la semilla y los archivos guardados. Si los resultados difieren, examine qué valores de los controles (widgets) sobrescribe el controlador y cuáles permanecen con los valores predeterminados del JSON.

El plano desde ángulo inverso aporta nueva información mientras mantiene espacialmente legibles la maleta plateada, la puerta, el automóvil y la luna.

Build a Consistent Multi-Shot Sequence

Create the scene recipe before the shot list

Para el ejemplo del motel, defina una vez a la mujer, el abrigo rojo, la maleta plateada, el recepcionista, el mostrador de recepción, el automóvil clásico, la lluvia, las luces prácticas ámbar y la luna desmesuradamente grande. Asigne un rol a cada referencia. Luego planifique tres planos: llegada exterior, intercambio en el mostrador y regreso al automóvil. La cámara puede cambiar, pero la receta indica a los revisores qué elementos deben mantenerse intactos.

Genere fotogramas de guion técnico (storyboard) antes de generar el video. Use un encuadre amplio para establecer la geografía, uno medio para la entrega de la maleta y un plano final amplio que restablezca la vista exterior. Si un fotograma cambia al actor o reubica el automóvil, rechácelo antes de invertir recursos en la animación. El flujo de trabajo de video IA multi-modelo explica cómo una única lista de verificación de aceptación puede mantenerse válida incluso cuando distintos planos usan motores diferentes.

Finished three-shot environment-continuity sample

Una salida generada previamente de nuestra biblioteca multimedia, no un punto de referencia de AI Movie Studio 2. Inspeccione si la arquitectura, la iluminación y la colocación del sujeto permanecen coherentes entre los planos.

Review motion and save the generation recipe

Convierta únicamente los fotogramas aceptados en clips. Observe cada resultado a velocidad normal para detectar cambios faciales, deslizamiento de los pies, deformación de objetos, inversión de la dirección de la cámara y cambios bruscos de iluminación. Guarde junto con el plano la semilla (seed), el prompt, el ID del flujo de trabajo, las elecciones de modelo y las intensidades del LoRA. Sin esa receta, una «toma nueva» se convierte en un nuevo experimento en lugar de una corrección controlada.

Para trabajos repetitivos, realice el procesamiento por lotes (batch) solo tras confirmar que un plano representativo ha pasado. La guía de procesamiento por lotes de ComfyUI muestra cómo preservar un manifiesto de entradas, aislar los fallos y mantener los resultados rastreables, en lugar de confiar ciegamente en una larga cola sin supervisión.

El plano final demuestra la continuidad a mayor distancia: la silueta del personaje, el objeto, el recepcionista, el automóvil, el motel y la luna siguen siendo reconocibles.

When Seedance Agent Is the Faster Route

AI Movie Studio 2 más ComfyUI resulta atractivo cuando se desea control local, nodos personalizados, JSON de flujo de trabajo, archivos de modelos específicos y acceso directo a parámetros. Ese control implica también asumir la responsabilidad de la instalación, las actualizaciones, la asignación de controladores, los modelos faltantes, la capacidad de GPU y la recuperación ante fallos. Para un creador técnico, el costo de mantenimiento puede ser justificable. Para un equipo de marketing que principalmente necesita una secuencia aprobada, esto puede convertirse en una segunda tarea productiva.

Seedance Agent aborda la misma tarea cinematográfica desde las capas de la consigna y la revisión. Proporcione audiencia, concepto, referencias, relación de aspecto, duración y reglas de aceptación; revise el guion y el plan de tomas propuestos antes de la generación pagada; y luego rechace o vuelva a ejecutar únicamente las tomas débiles. Aún puede utilizar el generador de vídeo a partir de texto o el generador de vídeo a partir de imágenes para pruebas directas, pero el agente mantiene juntas las referencias, las decisiones y el historial de revisiones.

Seedance Agent finished product-ad output

Esta salida existente de Seedance Agent demuestra la alternativa entregable: un resultado en movimiento revisable, en lugar de una pantalla de configuración local.

Elija según el trabajo que desee gestionar directamente. Use la pila local cuando el objetivo sea la experimentación a nivel de nodo. Utilice un flujo de trabajo con agente alojado cuando la planificación más rápida, las aprobaciones, las verificaciones de continuidad y las repeticiones selectivas sean más importantes que la gestión de la infraestructura.

Conclusión

Una configuración confiable de AI Movie Studio V2 ComfyUI comienza con tres servicios sanos, un flujo de trabajo validado y una pequeña prueba de referencia. Conecte ComfyUI antes de añadir complejidad creativa, registre flujos de trabajo en formato API solo después de que se ejecuten directamente, resuelva los modelos faltantes antes de ajustar parámetros y conserve una receta de generación para cada toma aceptada. Cuando desee aplicar la misma disciplina de planificación de escenas y revisión sin tener que mantener la pila local, inicie su próxima secuencia con Seedance Agent.