Wan Animate 2-Tutorial: Move-Modus, Mix-Modus und ComfyUI-Workflow-Anleitung

AI-Überblick

Was ist Wan Animate 2 und was kann es leisten?

Wan Animate 2 ist ein Open-Source-System zur Charakteranimation, das auf Wan 2.2 basiert. Es überträgt Bewegungen des gesamten Körpers, mimische Ausdrücke sowie Lippenbewegungen von einem Treibervideo auf einen Referenzcharakter mittels Move- oder Mix-Modus.

Was ist der Unterschied zwischen Move-Modus und Mix-Modus in Wan Animate 2?

Move animiert einen stillstehenden Charakter und lässt das Modell die umgebende Szene neu generieren. Mix ersetzt hingegen die Person in einem Treibervideo, behält jedoch die ursprüngliche Szene, den Hintergrund und den Ton bei.

Kann ich Wan Animate 2 lokal in ComfyUI ausführen?

Ja. Der Workflow nutzt die Wan 2.2 Animate-Gewichte, WanVideoAnimateEmbeds, einen Sampler und eine VAE. Wählen Sie bf16, wenn der Speicher dies zulässt, oder int8-convrot für eine leichtere lokale Einrichtung.

Welche Eingaben benötigt Wan Animate 2?

Beide Modi benötigen ein Referenzbild und ein Treibervideo. Zuverlässige Gesichtsausschnitte verbessern die Identitätserkennung; der Mix-Modus profitiert zudem von sauberen Hintergrundframes und einer präzisen SAM2-Personenmaske.

Was Wan Animate 2 tatsächlich leistet – und warum es sich unterscheidet

Gewöhnliche Bild-zu-Video-Modelle erfinden Bewegung aus einem Standbild und einer Prompt-Beschreibung. Wan Animate 2 hingegen behandelt eine reale Darbietung als strukturierte Anleitung: Das Treibervideo liefert Pose, Timing, mimische Ausdrücke und Mundbewegungen, während das Referenzbild die Charakteridentität bereitstellt. Damit eignet es sich besonders dann, wenn die Darbietung genauso wichtig ist wie das visuelle Erscheinungsbild.

Dies unterscheidet sich zudem von Endpunkt-gesteuerter Generierung. Ein Workflow mit erstem und letztem Frame definiert, wo eine Einstellung beginnt und endet, reproduziert aber nicht jeden Zwischenschritt. Siehe die MiniMax H3-Anleitung zum ersten-und-letzten-Frame-Workflow, wenn der Ziel-Frame wichtiger ist als die Übertragung der Darbietung.

Offizielles Wan Animate 2 · Referenz, Treiber und generierte Darbietung

Der Dreipanel-Clip zeigt gleichzeitig das stehende Referenzbild, die treibende Darbietung und das generierte Ergebnis. Dies ist eine aussagekräftigere Qualitätskontrolle als ein einzelner polierter Frame, da Sie Gestik-Timing und Identität direkt vergleichen können.

Move-Modus vs. Mix-Modus – Die richtige Wahl treffen

Beide Modi übertragen eine Darbietung, lösen jedoch unterschiedliche Produktionsprobleme. Verwenden Sie diese Entscheidungstabelle, bevor Sie Masken erstellen oder zusätzliche Frames vorbereiten:

Wählen Sie Move, wenn Charakter und Bewegung den kreativen Kern bilden und sich die Umgebung ändern darf. Wählen Sie Mix, wenn Aufbau, Requisiten, Beleuchtung, Kamerabewegung und Ton bereits im Quellclip funktionieren. Für eine browserbasierte Variante derselben Idee probieren Sie vor dem Commit zu einem lokalen Graphen den Motion-Control-Workflow aus.

Offizielles Wan Animate 2 · stilisierte Übertragung von Charakterbewegung

Dieses Beispiel verdeutlicht, warum Silhouette und Körperproportionen entscheidend sind. Treiber und Charakter können optisch völlig unterschiedlich wirken – das Ergebnis bleibt dennoch verständlich, solange das Referenzbild eine klare Ganzkörperpose zeigt und der Treiber stets im Bild bleibt.

Was Sie vor Beginn benötigen – Eingaben und Modelldateien

Bereiten Sie die Assets vor, bevor Sie ComfyUI öffnen. Ein sauberer Eingabesatz verhindert mehr Fehler als das spätere Hinzufügen weiterer Sampling-Schritte.

• Treibervideo: Ein sichtbares Subjekt, stabile Bildkomposition, deutlich erkennbare Gliedmaßen und bewusste mimische Bewegung. Entfernen Sie tote Zeit vor dem Export.
• Referenzbild: Ein scharfes Ganzkörper- oder Dreiviertelbild des Charakters mit sichtbaren Händen, Füßen und einem unverdeckten Gesicht.
• Gesichtsausschnitte: Enge Ausschnitte der Gesichter von Referenz und Treiber für eine stärkere Identitäts- und Expressionsausrichtung.
• SAM2-Maske für Mix: Eine solide Personenmaske ohne Löcher um Haare, Hände oder bewegte Kleidung.
• Hintergrundframes für Mix: Saubere Hintergrundaufnahmen aus dem Originalshot; verwenden Sie sie immer dann, wenn der ersetzte Darsteller zuvor verdeckte Bereiche freilegt.
• Wan 2.2 Animate-Gewichte: bf16 bietet den saubersten Pfad mit voller Präzision; int8-convrot senkt den Speicherbedarf mit möglichen Einbußen bei der Qualität.

Hardware, Quantisierung und Decodierzeit beeinflussen nach wie vor die lokale Erfahrung. Die Abwägungen in unserem Vergleich LTX 2.5 vs. MiniMax H3 sind eine nützliche Checkliste, um zu entscheiden, ob Sie lokal ausführen oder einen gehosteten Workflow nutzen möchten.

Das offizielle Architekturdiagramm zeigt, wie das Referenzbild, das Referenzvideo und die Zielvideo-Token in die Animationspipeline eintreten.

Schritt-für-Schritt-Anleitung zum ComfyUI-Workflow1. Laden Sie die Wan 2.2-Animate-Gewichte. Wählen Sie bei ausreichendem VRAM bf16 für Qualität oder die int8-convrot-Build-Variante für einen leichteren Graphen. Stellen Sie sicher, dass VAE und Text-Encoder zum Workflow passen.

2. Verbinden Sie WanVideoAnimateEmbeds. Geben Sie ihm die Referenz-Identität, die Treiber-Pose-Sequenz, Gesichtsausschnitte und die SAM2-Maske. Der Mix-Modus benötigt die sauberste Maske, da der ursprüngliche Hintergrund die Ersetzung unbeschädigt überstehen muss.
3. Passen Sie die Treiber-Dimensionen an. Legen Sie Breite, Höhe und num_frames auf das vorbereitete Treiber-Video fest. Verwenden Sie Dimensionen, die durch 16 teilbar sind, und testen Sie zunächst ein kurzes Segment.
4. Konfigurieren Sie WanVideoSampler. Fügen Sie eine direkte Szenen-Prompt, eine kompatible LoRA (falls vorhanden), den Sampler, Scheduler, Seed und die Anzahl der Schritte hinzu. Der Prompt sollte Aussehen und Umgebung beschreiben – nicht gegen die Aktion des Treibers arbeiten.
5. Wählen Sie Mix oder Move. Leiten Sie im Mix-Modus die ursprünglichen Szene- und Hintergrund-Frames weiter; wählen Sie Move, wenn das Modell die Umgebung um die animierte Referenz neu aufbauen soll.
6. Dekodieren und speichern. Prüfen Sie das erste Ergebnis in voller Größe, vergleichen Sie dann Gesicht, Finger, Maskenränder, Bodenkontakt und Lippen-Synchronisation mit dem Treiber, bevor Sie Dauer oder Auflösung erhöhen.

Falls Sie Charakter und Bildaufbau validieren möchten, ohne Modelle lokal zu installieren, beginnen Sie mit dem Referenz-zu-Video-Generator und übernehmen danach das genehmigte Eingabepaar in ComfyUI.

Bessere Ergebnisse erzielen – Häufige Korrekturen und Tipps

• Hintergrund-Drift: Stellen Sie im Mix-Modus saubere Hintergrund-Frames bereit und verwenden Sie eine solide SAM2-Maske. Zu starkes Feathering kann einen Halo um den Darsteller erzeugen.
• Gesichts-Drift: Verwenden Sie scharfe Gesichtsausschnitte, gleichmäßige Beleuchtung und einen Referenzwinkel, der dem Treiber nahekommt. Vermeiden Sie während des ersten Tests, dass Hände das Gesicht verdecken.
• Auflösungsinkonsistenz: Breite, Höhe und num_frames müssen exakt mit dem Treiber übereinstimmen. Skalieren Sie nur einmal vor dem Graphen – nicht an mehreren Knoten.
• Unnatürliche Lippenbewegung: Wählen Sie einen Treiber mit sichtbarem Mund, klaren Silben und geringer Bewegungsunschärfe. Extrem profilierte Blickwinkel reduzieren die nutzbare Lippendetailtiefe.
• Langsame Iteration: Wenden Sie eine kompatible lightx2v Step-Distillation-LoRA an und beginnen Sie mit einem kurzen Clip. Weniger Schritte sind für Tests wertvoll – vergleichen Sie jedoch stets den finalen Durchlauf mit dem nicht-distillierten Baseline.

Ändern Sie jeweils nur eine Variable. Ein fester Seed, ein kurzes Treiber-Segment und ein gespeicherter Eingabesatz verwandeln jeden neuen Versuch in einen aussagekräftigen Vergleich – statt in ein neues Experiment.

Einsatzszenarien – Was Sie mit Wan Animate 2 erstellen können

1. KI-Moderator oder digitale Person – Move: Animieren Sie ein sauberes Porträt eines Moderators aus einer aufgezeichneten Performance, wenn das Set um den Moderator neu generiert werden kann.
2. E-Commerce-Model-Austausch – Mix: Behalten Sie Produkt-Inszenierung und Kamerabewegung bei, ersetzen aber den Darsteller durch eine Kampagnen-Charakterfigur.
3. Individuelle IP-Animation – Move: Übertragen Sie menschliche Gestik und mimische Timing-Informationen auf ein Maskottchen, eine Illustration oder einen stilisierten 3D-Charakter.
4. UGC-Tanz- und Aktionsclips – Move: Wandeln Sie ein genehmigtes Bild in einen bewegungsorientierten Social-Media-Clip um – ohne manuelles Key-Posing.
5. Batch-Werbefiguren-Ersatz – Mix: Bewahren Sie denselben Schnitt, Standort, Requisiten und Ton bei, während Sie die dargestellte Person für mehrere Varianten anpassen.

Für wiederkehrende Marken-Charaktere zählt Konsistenz des Datensatzes mehr als das Hinzufügen zufälliger Aufnahmen. Die Vorbereitungs- und Validierungspraktiken aus unserem MiniMax H3 LoRA-Trainingsleitfaden lassen sich gut auf benutzerdefinierte Animationsprojekte übertragen.

Fazit

Die einfachste Regel lautet: Move = animieren Sie das Bild; Mix = ersetzen Sie die Person im Video. Beginnen Sie mit einer sauberen Referenz und einem kurzen Treiber, fixieren Sie Dimensionen und Masken – und skalieren Sie erst dann, wenn Identität und Bewegung stabil bleiben. Falls Sie denselben referenzgeführten Workflow nutzen möchten, ohne lokale Gewichte und Knoten zu verwalten, erstellen Sie Ihr nächstes KI-Video auf Seedance →.