AI Movie Studio V2 ComfyUI-Tutorial: Installation, Verbindung und Szenenerstellung

AI Overview

Was ist AI Movie Studio 2?

Es ist ein quelloffener Filmproduktions-Arbeitsbereich zur Organisation von Szenen, Referenzmaterialien und Shots sowie zur Übermittlung von Generierungsaufträgen an lokale ComfyUI-Instanzen oder Cloud-Anbieter.

Benötige ich ComfyUI, um AI Movie Studio 2 zu nutzen?

Für die lokale Generierung benötigen Sie ComfyUI. Cloud-basierte Treiber funktionieren auch ohne lokale GPU, erfordern jedoch die entsprechenden Anbieter-Anmeldedaten.

Welche Ports verwendet die lokale Einrichtung?

Die Standardports sind ComfyUI auf Port 8188, das Backend auf Port 8001 und das Frontend auf Port 3000. Überprüfen Sie vor der Fehlersuche bei der Generierung jeweils den Betrieb aller Dienste.

Kann ich meinen eigenen ComfyUI-Workflow importieren?

Ja. Exportieren Sie API JSON, registrieren Sie ihn in den Einstellungen und beheben Sie vor der Ausführung alle fehlenden Checkpoints, LoRAs, VAEs oder Encoder.

Was AI Movie Studio 2 zu ComfyUI hinzufügt

Dieser AI Movie Studio V2 ComfyUI-Tutorial beginnt mit einer entscheidenden Unterscheidung, die die häufigsten Missverständnisse vermeidet: ComfyUI bleibt die Generierungs-Engine, während AI Movie Studio 2 als Filmproduktions-Arbeitsbereich rund um diese Engine fungiert. Statt einen einzigen großen Graphen für das gesamte Projekt neu zu erstellen, organisieren Sie Ihr Projekt in Szenen, Referenzen und Shots und übermitteln gezielte Bild- oder Videogenerierungsaufträge über einen Treiber.

Das aktuelle Projekt beschreibt einen browserbasierten, modellagnostischen Workflow. Zu seinen Werkzeugen zählen eine 3D-Kamera-Bühne, Shot-Voreinstellungen, Multi-Referenz-Generierung, Prompt-Varianten, Retakes, LoRA-Auswahl, eine Zeitachse, Dialog- und Audiofunktionen sowie XML-Export für einen Schnitteditor. Die Benutzeroberfläche kann sowohl lokale ComfyUI-Instanzen als auch unterstützte Cloud-APIs ansprechen. Da das Projekt sich in aktiver Entwicklung befindet, gelten die README-Datei und das Einstellungsfenster Ihrer installierten Version als maßgebliche Quelle; Namen und experimentelle Funktionen können sich schnell ändern.

Diese Struktur ist besonders nützlich, wenn Ihr eigentliches Problem Kontinuität und nicht ein einzelnes perfektes Einzelbild ist. Eine Szenen-Rezeptur kann Referenzen zu Charakter, Ort und Requisiten enthalten. Ein Shot kann den gewählten Blickwinkel und die Generierungs-Rezeptur festhalten. Ein abgelehnter Take lässt sich neu generieren, ohne das akzeptierte Storyboard drumherum zu löschen.

Ein originäres Konzept des fertigen Ergebnisses für diesen Leitfaden. Der rote Mantel, der silberne Koffer, das Motel, das Oldtimer-Auto, der Regen und der übergroße Mond bilden eine Kontinuitäts-Rezeptur, die über mehrere Shots hinweg konsistent überprüft werden kann.

Vor der Installation

Wählen Sie zwischen lokaler, entfernter oder Cloud-basierter Generierung

Lokales ComfyUI bietet direkte Kontrolle über Modelle und Knoten, erfordert aber die eigenständige Verwaltung der GPU-Umgebung, der Modell-Dateien und benutzerdefinierter Knoten. Ein entfernter ComfyUI-Server behält diese Graph-Kontrolle auf einem anderen Rechner. Cloud-Treiber reduzieren den Installationsaufwand, führen jedoch Kosten des Anbieters, Anmeldedaten und anbieterspezifische Limitierungen ein. Der Leitfaden „Lokale vs. Cloud-basierte KI-Videogeneratoren“ hilft Ihnen, diese operative Entscheidung bereits vor der Einrichtung zu treffen.

Für die aktuelle manuelle Installation benötigen Sie Python 3.10 oder neuer, Node.js 18 oder neuer sowie eine laufende ComfyUI-Instanz. Die offizielle Hardware-Empfehlung sieht 8 GB VRAM als Mindestausstattung für Bildgenerierung und kurze Clips, 12–16 GB als breiteren Einsatzbereich und 24 GB oder mehr für anspruchsvollere Multi-Referenz- oder Batch-Anwendungen vor. Dies sind Projekt-Empfehlungen, keine Garantien: Ihr konkretes Modell, die Auflösung, die Anzahl der Frames und die Quantisierung bestimmen den tatsächlichen Speicherbedarf.

Halten Sie den ersten Test bewusst klein

Bereiten Sie ein Charakterporträt, eine Ortsreferenz und einen einfachen Bild-Workflow vor, der bereits direkt in ComfyUI funktioniert. Beginnen Sie nicht gleich mit einer langen Einstellung, mehreren LoRAs, Sprachklonung und einem neuen Video-Modell zugleich. Ein kleiner, bekannter und funktionsfähiger Auftrag zeigt Ihnen, ob die Verbindung und die Treiber-Zuordnung korrekt funktionieren – bevor kreative Komplexität die Fehlersuche erschwert.

AI Movie Studio V2 ComfyUI-Tutorial

1. Starten Sie ComfyUI und überprüfen Sie Port 8188

Starten Sie ComfyUI in einem eigenen Terminal und stellen Sie sicher, dass sich dessen Browser-Oberfläche öffnet. Die Standardkonfiguration von AI Movie Studio erwartet http://127.0.0.1:8188. Falls Ihr Server eine andere Adresse, einen Reverse-Proxy oder Authentifizierung nutzt, notieren Sie dies vor der Konfiguration des Workstations. Exponieren Sie niemals eine nicht authentifizierte ComfyUI-Instanz ungeschützt im öffentlichen Internet – nur um die Verbindung zu vereinfachen.

cd /path/to/ComfyUI
python main.py

Führen Sie zunächst den kleinen, bekannten und funktionsfähigen Workflow innerhalb ComfyUI aus. Scheitert dieser Schritt, beheben Sie zuerst ComfyUI, bevor Sie AI Movie Studio 2 involvieren.

2. Installieren und starten Sie das Backend

Wechseln Sie ins Backend-Verzeichnis des Repositorys und installieren Sie die Python-Abhängigkeiten. Der aktuelle manuelle Startbefehl startet die API auf Port 8001; öffnen Sie den Health-Endpunkt und stellen Sie sicher, dass eine erfolgreiche Antwort erfolgt, bevor Sie fortfahren.

cd backend
pip install -r requirements.txt
python main.py serve --reload

Halten Sie Anbieter-Geheimnisse aus Screenshots und commiteden Dateien fern. Lokales ComfyUI funktioniert ohne Cloud-Schlüssel. Falls Sie später einen unterstützten Anbieter in den Einstellungen hinzufügen, prüfen Sie, was lokal gespeichert wird, und starten Sie das Backend neu, falls die aktuelle Build-Version dies erfordert.

3. Installieren und starten Sie das Frontend

Verwenden Sie ein drittes Terminal für das Frontend. Nach der Installation der Abhängigkeiten öffnet der Entwicklungsserver normalerweise Port 3000 und leitet Anfragen an das Backend weiter.

cd frontend
npm install
npm run dev
```Erstellen Sie ein Projekt erst, nachdem der Browser geladen wurde und der Backend-Health-Check erfolgreich war. Falls die Benutzeroberfläche geöffnet wird, aber jede Generierung sofort fehlschlägt, überprüfen Sie stattdessen die Verbindung vom Backend zu ComfyUI, anstatt das Frontend neu zu installieren.

### 4. Verwenden Sie Docker, wenn Reproduzierbarkeit entscheidend ist

Die Docker-Methode startet den gesamten Anwendungsstack mit einem einzigen Befehl, containerisiert jedoch ComfyUI nicht innerhalb des aktuellen Projektentwurfs. ComfyUI läuft weiterhin auf dem Host – üblicherweise unter Port 8188 – und der Backend-Container erreicht es über `host.docker.internal`. Beide Anwendungsdienste binden standardmäßig an localhost, und Projektdaten bleiben durch Bind-Mounts erhalten.

```text
docker compose up --build

Docker reduziert Abweichungen bei der Python- und Node.js-Setup-Konfiguration. Es löst jedoch weder fehlende Modell-Dateien noch einen instabilen ComfyUI-Server oder einen Workflow, der auf nicht verfügbare Knoten verweist.

Eine erfolgreiche Einrichtung sollte eine neue Komposition erzeugen, ohne den Charakter, den roten Mantel, den Koffer, das Auto, den Mond oder die Lichtlogik zu verlieren.

Registrieren eines benutzerdefinierten ComfyUI-Workflows

Exportieren Sie API JSON, nicht die visuelle Workflow-Datei

Entwickeln und testen Sie den Graphen direkt in ComfyUI, speichern Sie ihn anschließend im API-Format. Das Ausführungs-JavaScript-Object-Notation (JSON) ist das Format, das eine externe Anwendung in die Warteschlange stellen kann. Verwenden Sie einen sauberen Workflow mit klar erkennbaren Eingabepunkten für Prompt, Seed, Breite, Höhe und Quellbild. Ein Graph, der von verborgenem lokalen Zustand abhängt, ist für jeden Treiber schwerer zuverlässig zu steuern.

Öffnen Sie die Einstellungen in AI Movie Studio 2, suchen Sie nach „Benutzerdefinierte ComfyUI-Workflows“ und fügen Sie das exportierte JSON hinzu. Geben Sie ihm einen stabilen Anzeigenamen, eine Treiber-ID sowie eine Bild- oder Video-Kategorie. Der aktuelle Workflow-Analysator prüft Referenzen auf Checkpoints, LoRAs, VAEs, CLIP- oder Text-Encoder, UNets, ControlNets und Upscaler und vergleicht diese mit der verbundenen ComfyUI-Instanz.

Lösen Sie Modellreferenzen vor dem Testen der Parameter

Eine Warnung wegen fehlender Modelle unterscheidet sich von einem Qualitätsproblem bei der Generierung. Platzieren Sie jede Datei im Verzeichnis, das vom jeweiligen Knoten erwartet wird, aktualisieren Sie die Modellliste und bestätigen Sie, dass die Warnung verschwindet. Erst danach optimieren Sie Schrittanzahl, CFG-Wert, Seed oder LoRA-Stärke. Diese Reihenfolge verhindert, dass ein einfacher Pfadfehler in stundenlange Prompt-Experimente ausartet.

Sobald der Workflow im Modellauswahlmenü erscheint, führen Sie denselben kleinen Referenztest und denselben Prompt aus, den Sie bereits direkt in ComfyUI getestet haben. Vergleichen Sie die Ausgabedimensionen, das Seed-Verhalten und die gespeicherten Dateien. Falls die Ergebnisse voneinander abweichen, prüfen Sie, welche Widget-Werte vom Treiber überschrieben werden und welche bei den Standardwerten aus der JSON-Datei bleiben.

Der Rückwärtswinkel ergänzt die Szene um neue Informationen, während Schlüsselelemente – silberner Koffer, Türöffnung, Auto und Mond – räumlich klar lesbar bleiben.

Erstellen einer konsistenten Mehr-Aufnahme-Sequenz

Erstellen Sie das Szenenrezept vor der Aufnahmeliste

Am Beispiel des Motels definieren Sie einmalig die Frau, den roten Mantel, den silbernen Koffer, den Angestellten, die Rezeptionstheke, das Oldtimer-Auto, den Regen, die bernsteinfarbenen praktischen Lichtquellen und den übergroßen Mond. Weisen Sie jedem Referenzelement eine Rolle zu. Planen Sie dann drei Aufnahmen: Ankunft von außen, Austausch am Tresen und Rückkehr zum Auto. Die Kamera darf wechseln, doch das Rezept legt fest, was unbedingt erhalten bleiben muss.

Generieren Sie Storyboard-Frames vor der Videoerstellung. Verwenden Sie zunächst einen Weitwinkel, um die räumliche Geografie zu etablieren, dann einen Mittelplan für die Übergabe des Koffers und schließlich einen abschließenden Weitwinkel, der die Außenszene wiederherstellt. Lehnen Sie jeden Frame ab, der den Darsteller wechselt oder das Auto verschiebt – bevor Sie Zeit und Ressourcen für die Bewegungserzeugung investieren. Der Artikel Multi-Modell-AI-Video-Workflow erklärt, wie eine einzige Akzeptanz-Checkliste bestehen bleibt, auch wenn verschiedene Aufnahmen unterschiedliche Engines nutzen.

Abgeschlossenes Musterbeispiel mit Umgebungs-Kontinuität über drei Aufnahmen

Ein bereits generiertes Ergebnis aus unserer Mediathek – kein Benchmark-Test mit AI Movie Studio 2. Prüfen Sie, ob Architektur, Licht und Positionierung der Hauptdarsteller über alle Aufnahmen hinweg kohärent bleiben.

Überprüfen Sie die Bewegung und speichern Sie das Generierungsrezept

Wandeln Sie ausschließlich akzeptierte Frames in Clips um. Sehen Sie sich jedes Ergebnis in normaler Geschwindigkeit an, um Gesichtsveränderungen, verrutschende Füße, Verformungen von Requisiten, Kamerawechsel in entgegengesetzter Richtung sowie abrupte Lichtwechsel zu erkennen. Speichern Sie den Seed, den Prompt, die Workflow-ID, die gewählten Modelle und die LoRA-Stärken zusammen mit der Aufnahme. Ohne dieses Rezept wird eine „Neuaufnahme“ zu einem neuen Experiment statt zu einer gezielten Korrektur.

Bei wiederholten Aufgaben führen Sie Batch-Verarbeitung erst dann durch, wenn mindestens eine repräsentative Aufnahme erfolgreich war. Der Artikel ComfyUI-Batch-Verarbeitungs-Leitfaden zeigt, wie Sie ein Eingabemanifest bewahren, Fehler isolieren und Ausgaben nachvollziehbar halten – anstatt sich auf eine lange, unbeaufsichtigte Warteschlange zu verlassen.

Der Abschlussframe beweist Kontinuität aus größerer Distanz: Silhouette der Figur, Requisit, Angestellter, Auto, Motel und Mond bleiben alle wiedererkennbar.

Wenn Seedance Agent der schnellere Weg ist

AI Movie Studio 2 plus ComfyUI ist attraktiv, wenn Sie lokale Kontrolle, benutzerdefinierte Knoten, Workflow-JSON, spezifische Modell-Dateien und direkten Zugriff auf Parameter benötigen. Diese Kontrolle bedeutet zugleich, dass Sie für Installation, Updates, Treiberzuordnung, fehlende Modelle, GPU-Kapazität und Ausfallwiederherstellung verantwortlich sind. Für technisch versierte Kreativschaffende kann der Wartungsaufwand lohnenswert sein. Für ein Marketingteam, das hauptsächlich eine genehmigte Sequenz benötigt, kann dies jedoch zu einer zweiten Produktionsaufgabe werden.

Seedance Agent nähert sich derselben Filmproduktionsaufgabe auf der Ebene von Briefing und Review. Geben Sie Zielgruppe, Konzept, Referenzen, Seitenverhältnis, Dauer und Akzeptanzregeln vor; prüfen Sie das vorgeschlagene Drehbuch und den Shot-Plan, bevor die kostenpflichtige Generierung erfolgt; lehnen Sie dann nur die schwachen Shots ab oder lassen Sie sie erneut generieren. Sie können weiterhin den Text-zu-Video-Generator oder den Bild-zu-Video-Generator für direkte Tests nutzen, doch der Agent bewahrt Referenzen, Entscheidungen und den gesamten Review-Verlauf zentral zusammen.

Seedance Agent finished product-ad output

Diese bestehende Seedance Agent-Ausgabe demonstriert die alternative Lieferform: ein überprüfbares, bewegtes Ergebnis statt eines lokalen Setup-Bildschirms.

Wählen Sie entsprechend der Arbeit, die Sie selbst steuern möchten. Nutzen Sie den lokalen Stack, wenn Experimente auf Knotenebene im Vordergrund stehen. Verwenden Sie einen gehosteten Agent-Workflow, wenn schnelleres Planen, Genehmigungen, Kontinuitätschecks und gezielte Neugenerierungen wichtiger sind als das Management der Infrastruktur.

Fazit

Ein zuverlässiger AI Movie Studio V2 ComfyUI-Setup beginnt mit drei stabilen Diensten, einem bewährten Workflow und einem kleinen Referenztest. Stellen Sie die Verbindung zu ComfyUI her, bevor Sie kreative Komplexität hinzufügen; registrieren Sie Workflows im API-Format erst nachdem sie direkt ausgeführt wurden; beheben Sie fehlende Modelle, bevor Sie Parameter optimieren; und bewahren Sie für jeden akzeptierten Shot ein vollständiges Generierungsrezept auf. Wenn Sie dieselbe Szenenplanung und denselben Review-Prozess wünschen – ohne den lokalen Stack verwalten zu müssen – starten Sie Ihre nächste Sequenz mit Seedance Agent.