Tutoriel AI Movie Studio V2 ComfyUI : installation, connexion et création d’une scène

AI Overview

Qu’est-ce que AI Movie Studio 2 ?

Il s’agit d’un espace de travail open source dédié à la réalisation cinématographique, conçu pour organiser les scènes, les références et les prises tout en envoyant des tâches de génération vers une instance locale de ComfyUI ou vers des fournisseurs cloud.

Ai-je besoin de ComfyUI pour utiliser AI Movie Studio 2 ?

Vous avez besoin de ComfyUI pour la génération locale. Les pilotes cloud uniquement peuvent fonctionner sans GPU local, mais ils nécessitent les identifiants correspondants du fournisseur.

Quels ports utilise la configuration locale ?

Les valeurs par défaut sont ComfyUI sur le port 8188, le backend sur le port 8001 et le frontend sur le port 3000. Vérifiez le bon fonctionnement de chaque service avant de diagnostiquer un problème lié à la génération.

Puis-je importer mon propre flux de travail ComfyUI ?

Oui. Exportez API JSON, inscrivez-le dans les paramètres, puis résolvez tous les points manquants (points de contrôle, LoRAs, VAE ou encodeurs) avant de l’exécuter.

Ce que AI Movie Studio 2 apporte à ComfyUI

Ce tutoriel AI Movie Studio V2 ComfyUI commence par une distinction essentielle, qui évite la plupart des confusions : ComfyUI reste le moteur de génération, tandis que AI Movie Studio 2 agit comme un poste de travail dédié à la réalisation cinématographique autour de celui-ci. Plutôt que de reconstruire un unique graphe massif pour l’intégralité d’un projet, vous organisez ce dernier en scènes, références et prises, puis vous envoyez des tâches spécifiques d’images ou de vidéos via un pilote.

Le projet actuel décrit un flux de travail basé sur le navigateur et indépendant du modèle utilisé. Ses outils incluent une scène caméra 3D, des présélections de prises, une génération multi-références, des variantes de prompts, des reprises, une sélection de LoRA, une timeline, des dialogues et de l’audio, ainsi qu’une exportation XML destinée à un logiciel d’édition. L’interface peut appeler une instance locale de ComfyUI ou des API cloud prises en charge. Comme le projet est en cours de développement actif, considérez le fichier README et le panneau Paramètres de votre version installée comme la référence officielle ; les noms et les fonctionnalités expérimentales peuvent évoluer rapidement.

Cette structure s’avère particulièrement utile lorsque votre véritable défi réside dans la continuité narrative plutôt que dans la production d’un simple cadre visuellement remarquable. Une recette de scène peut contenir les références aux personnages, au lieu et aux accessoires. Une prise peut enregistrer l’angle choisi ainsi que la recette de génération associée. Une prise rejetée peut être relancée sans effacer le storyboard validé qui l’entoure.

Concept original d’un résultat final pour ce guide. Le manteau rouge, la mallette argentée, le motel, la voiture vintage, la pluie et la lune surdimensionnée constituent une recette de continuité vérifiable d’une prise à l’autre.

Avant l’installation

Choisissez la génération locale, distante ou cloud

La génération locale avec ComfyUI vous offre un contrôle direct sur les modèles et les nœuds, mais vous devez gérer vous-même l’environnement GPU, les fichiers de modèles et les nœuds personnalisés. Un serveur ComfyUI distant conserve ce contrôle graphique sur une autre machine. Les pilotes cloud réduisent la charge d’installation, mais introduisent des coûts liés au fournisseur, des identifiants requis et des limites spécifiques à chaque service. Le guide comparatif IA vidéo locale vs cloud vous aide à clarifier ce choix opérationnel avant d’engager du temps dans une configuration donnée.

Pour l’installation manuelle actuelle, prévoyez Python 3.10 ou ultérieur, Node.js 18 ou ultérieur, ainsi qu’une instance fonctionnelle de ComfyUI. Selon les recommandations matérielles officielles, 8 Go de mémoire vidéo constituent le seuil minimal pour le travail sur les images et les courtes séquences, 12 à 16 Go représentent une fourchette plus large d’utilisation efficace, et 24 Go ou plus sont conseillés pour des usages intensifs impliquant plusieurs références ou des lots importants. Il s’agit de recommandations projet, non de garanties : votre modèle, sa résolution, le nombre de trames et la quantification déterminent la consommation réelle de mémoire.

Gardez volontairement votre premier test réduit

Préparez un portrait de personnage, une référence de lieu et un flux de travail d’image simple qui fonctionne déjà directement dans ComfyUI. Ne commencez pas par une longue prise, plusieurs LoRAs, un clonage vocal et un nouveau modèle vidéo simultanément. Une petite tâche connue pour fonctionner correctement vous indiquera si la connexion et le mappage des pilotes sont opérationnels avant que la complexité créative ne vienne compliquer le diagnostic.

Tutoriel AI Movie Studio V2 ComfyUI

1. Lancez ComfyUI et vérifiez le port 8188

Démarrez ComfyUI dans son propre terminal et assurez-vous que son interface web s’ouvre dans le navigateur. La configuration par défaut d’AI Movie Studio attend l’adresse http://127.0.0.1:8188. Si votre serveur utilise une autre adresse, un proxy inverse ou une authentification, notez-la avant de configurer le poste de travail. N’exposez jamais une instance non authentifiée de ComfyUI à Internet public uniquement pour simplifier la connexion.

cd /path/to/ComfyUI
python main.py

Exécutez d’abord la petite tâche validée dans ComfyUI. En cas d’échec, corrigez d’abord ComfyUI avant d’impliquer AI Movie Studio 2.

2. Installez et démarrez le backend

Depuis le répertoire backend du dépôt, installez les dépendances Python. La commande manuelle actuelle lance l’API sur le port 8001 ; ouvrez son point de terminaison de santé et exigez une réponse réussie avant de passer à l’étape suivante.

cd backend
pip install -r requirements.txt
python main.py serve --reload

Gardez les secrets des fournisseurs hors des captures d’écran et des fichiers commités. ComfyUI local fonctionne sans clés cloud. Si vous ajoutez ultérieurement un fournisseur pris en charge dans les paramètres, vérifiez ce qui est stocké localement et redémarrez le backend si la version actuelle l’exige.

3. Installez et démarrez le frontend

Utilisez un troisième terminal pour le frontend. Une fois les dépendances installées, le serveur de développement s’ouvre normalement sur le port 3000 et transfère les requêtes vers le backend.

cd frontend
npm install
npm run dev
```Créez un projet uniquement après le chargement du navigateur et la réussite de la vérification d’intégrité du backend. Si l’interface s’ouvre mais que chaque génération échoue instantanément, examinez la connexion entre le backend et ComfyUI, plutôt que de réinstaller l’interface utilisateur.

### 4. Utilisez Docker lorsque la reproductibilité est essentielle

La voie Docker démarre la pile applicative avec une seule commande, mais ne conteneurise pas ComfyUI dans la conception actuelle du projet. ComfyUI continue de s’exécuter sur l’hôte, généralement sur le port 8188, et le conteneur backend y accède via `host.docker.internal`. Les deux services applicatifs sont liés à localhost par défaut, et les données du projet persistent grâce aux montages liés (bind mounts).

```text
docker compose up --build

Docker réduit les écarts entre les versions de Python et de Node.js. Il ne résout toutefois ni l’absence de fichiers de modèles, ni un serveur ComfyUI défaillant, ni un workflow faisant référence à des nœuds indisponibles.

Une configuration réussie doit produire une nouvelle composition sans perdre le personnage, le manteau rouge, la valise, la voiture, la lune ou la logique d’éclairage.

Enregistrez un workflow personnalisé ComfyUI

Exportez API JSON, et non le fichier visuel du workflow

Construisez et testez directement le graphe dans ComfyUI, puis enregistrez-le au format API. Le JSON d’exécution est ce qu’une application externe peut mettre en file d’attente. Utilisez un workflow propre, avec des points d’entrée évidents pour la demande (prompt), la graine (seed), la largeur, la hauteur et l’image source. Un graphe dépendant d’un état local caché est plus difficile à contrôler de façon fiable depuis n’importe quel pilote (driver).

Ouvrez les Paramètres dans AI Movie Studio 2, recherchez « Workflows personnalisés ComfyUI » et ajoutez le JSON exporté. Attribuez-lui un nom d’affichage stable, un identifiant de pilote (driver ID) ainsi qu’une catégorie image ou vidéo. L’analyseur de workflow actuel détecte les références aux checkpoints, aux LoRAs, aux VAE, aux encodeurs CLIP ou textuels, aux UNet, aux ControlNet et aux outils d’augmentation de résolution (upscalers), puis les compare aux ressources disponibles sur l’instance ComfyUI connectée.

Résolvez les modèles avant de tester les paramètres

Un avertissement concernant un modèle manquant diffère d’un problème de qualité de génération. Placez chaque fichier dans le répertoire attendu par son nœud correspondant, actualisez la liste des modèles et vérifiez que l’avertissement disparaît. Seulement alors, ajustez le nombre d’étapes, le paramètre CFG, la graine (seed) ou l’intensité du LoRA. Ce séquençage évite qu’une simple erreur de chemin ne se transforme en plusieurs heures d’expérimentation sur les demandes (prompts).

Lorsque le workflow apparaît dans le sélecteur de modèles, exécutez le même petit exemple de référence et la même demande (prompt) utilisés lors du test direct dans ComfyUI. Comparez les dimensions des sorties, le comportement de la graine (seed) et les fichiers enregistrés. Si les résultats diffèrent, identifiez les valeurs de widgets que le pilote (driver) remplace et celles qui conservent leurs valeurs par défaut définies dans le JSON.

La prise de vue en contre-plongée ajoute de nouvelles informations tout en maintenant une lisibilité spatiale claire de la valise argentée, de l’entrée, de la voiture et de la lune.

Construisez une séquence cohérente de plusieurs plans

Créez la recette de la scène avant la liste des plans

Dans l’exemple de l’hôtel, définissez une fois pour toutes la femme, le manteau rouge, la valise argentée, le réceptionniste, le comptoir d’accueil, la voiture vintage, la pluie, les sources lumineuses ambre et la lune surdimensionnée. Attribuez à chaque élément un rôle précis. Ensuite, planifiez trois plans : arrivée extérieure, échange au comptoir et retour vers la voiture. La caméra peut changer, mais la recette indique aux relecteurs ce qui doit impérativement être conservé.

Générez d’abord des images de storyboard, avant toute production vidéo. Utilisez un cadre large pour établir la géographie, un cadre moyen pour la remise de la valise, et un dernier cadre large qui restaure la vue extérieure. Si une image modifie l’acteur ou déplace la voiture, rejetez-la avant d’engager des ressources dans l’animation. Le workflow vidéo IA multi-modèle explique comment une même liste de contrôle d’acceptation peut rester valide même lorsque différents plans utilisent des moteurs distincts.

Exemple final de continuité environnementale sur trois plans

Une sortie générée existante issue de notre bibliothèque multimédia, et non un point de référence (AI Movie Studio 2) de performance. Vérifiez si l’architecture, l’éclairage et le positionnement des sujets demeurent cohérents d’un plan à l’autre.

Revoyez le mouvement et enregistrez la recette de génération

Ne transformez en séquences vidéo que les images acceptées. Regardez chaque résultat à vitesse normale afin de détecter les changements de visage, les glissements des pieds, les déformations des accessoires, les inversions de caméra ou les changements brusques d’éclairage. Enregistrez la graine (seed), la demande (prompt), l’identifiant du workflow, les choix de modèles et les intensités du LoRA associés à chaque plan. Sans cette recette, une « nouvelle prise » devient une nouvelle expérience plutôt qu’une correction contrôlée.

Pour les travaux répétitifs, lancez le traitement par lots uniquement après validation d’un plan représentatif. Le guide de traitement par lots dans ComfyUI montre comment préserver un manifeste d’entrées, isoler les échecs et garder les sorties traçables, plutôt que de faire confiance à une longue file d’attente non surveillée.

Le plan final prouve la continuité à une distance accrue : la silhouette du personnage, l’accessoire, le réceptionniste, la voiture, l’hôtel et la lune restent tous reconnaissables.

Lorsque Seedance Agent constitue la voie la plus rapide

AI Movie Studio 2 plus ComfyUI est une solution attrayante lorsque vous souhaitez un contrôle local, des nœuds personnalisés, des fichiers JSON de flux de travail, des fichiers de modèles spécifiques et un accès direct aux paramètres. Ce contrôle implique également que vous assumiez la responsabilité de l’installation, des mises à jour, du mappage des pilotes, des modèles manquants, de la capacité GPU et de la reprise après défaillance. Pour un créateur technique, ce coût d’entretien peut s’avérer justifié. En revanche, pour une équipe marketing qui a principalement besoin d’une séquence approuvée, cela peut se transformer en une deuxième tâche de production.

Seedance Agent aborde la même tâche cinématographique depuis les couches de cahier des charges et de révision. Fournissez le public cible, le concept, les références, le format d’image, la durée et les règles d’acceptation ; examinez le scénario et le plan de prises proposé avant toute génération payante ; puis rejetez ou relancez uniquement les prises faibles. Vous pouvez toujours utiliser le générateur de vidéo à partir de texte ou le générateur de vidéo à partir d’image pour des tests directs, mais l’agent centralise les références, les décisions et l’historique des révisions.

Seedance Agent finished product-ad output

Cette sortie Seedance Agent existante illustre une livrable alternative : un résultat animé révisable plutôt qu’un écran de configuration locale.

Choisissez en fonction du travail que vous souhaitez maîtriser. Utilisez la pile locale lorsque l’expérimentation au niveau des nœuds constitue l’objectif principal. Optez pour un flux de travail avec agent hébergé lorsque la planification accélérée, les validations, les contrôles de continuité et les relances sélectives comptent davantage que la gestion de l’infrastructure.

Conclusion

Une configuration fiable de AI Movie Studio V2 ComfyUI commence par trois services opérationnels, un flux de travail éprouvé et un petit test de référence. Connectez ComfyUI avant d’ajouter de la complexité créative, inscrivez uniquement les flux de travail au format API une fois qu’ils fonctionnent directement, résolvez les problèmes liés aux modèles manquants avant d’ajuster les paramètres, et conservez une recette de génération pour chaque prise acceptée. Lorsque vous souhaitez bénéficier de la même rigueur en matière de planification des scènes et de révision, sans assumer la maintenance de la pile locale, démarrez votre prochaine séquence avec Seedance Agent.