Miraki Mind

Video-to-Video: eine Sache ändern, die Performance behalten

Higgsfield hat mit Genjutsu gezeigt, wie Video-to-Video-Editing aussehen kann. Wir haben das Prinzip als eigenen Skill nachgebaut und in unser Studio-Tool integriert. Zwei bestehende Modelle, 36 getestete Presets und deutlich weniger verbrannte Credits.

Yves FarineRegie · Generativer Film · 1. November 2026 · 15 Min. Lesezeit

Ein gedrehter Clip, eine gute Performance, und trotzdem stimmt eine Sache nicht: das Outfit, das Produkt in der Hand, der Ort. Früher hiess das Nachdreh. Mit Video-to-Video-Editing lässt sich genau dieses eine Element austauschen, während alles andere bleibt, wie es gedreht wurde. Higgsfield nennt sein Tool dafür Genjutsu, mit den Modi Motion Transfer und Object Swap.

Wir haben das Prinzip als eigenen Skill nachgebaut und direkt in BOFF.studio eingebaut, das Tool, in dem wir unsere Filme produzieren. Intern heisst er Boffjitsu. Er ist kein eigenes KI-Modell, sondern ein Rezept aus zwei Modellen, die wir ohnehin täglich nutzen.

Das Rezept

Nano Banana baut ein einzelnes Standbild mit der Änderung, den Zielframe. Seedance 2.5 zeichnet im Omni-Reference-Modus danach den ganzen Clip neu und nimmt die Bewegung aus dem Original. Bewegung, Kamera, Timing und Ausschnitt kommen Bild für Bild aus dem gedrehten Material.

Die KI erfindet keine Bewegung. Die Performance gehört dir, die KI tauscht nur das Kostüm, die Person oder die Kulisse.

Fünf Schritte

  1. Clip aufbereiten. Handyclips kommen oft in 4K, als HEVC, gedreht oder mit 59.94 fps. Sie werden normalisiert: SDR, Drehung eingebrannt, kurze Seite mindestens 480 px, lange Seite höchstens 1920 px, Länge 4 bis 30 Sekunden.
  2. Ein Satz. Ich schreibe auf Deutsch, was passieren soll. Das Tool wählt eines von 36 getesteten Presets, füllt die Felder auf Englisch und sucht auf einem Kontaktbogen mit zwölf Momenten das passende Bild aus dem Video.
  3. Zielframe abnehmen. Nano Banana macht aus diesem Videobild und meiner Referenz ein Standbild mit der Änderung. Das ist der einzige Moment, in dem ich entscheide: passt, ändern oder neu würfeln.
  4. Video-Edit. Seedance bekommt den Clip als Referenzvideo, den Zielframe als @image1 und optional die Referenz als @image2. Der Prompt beginnt mit «Edit @video1.», das löst den Edit-Modus aus.
  5. Prüfen und fertigstellen. Eine automatische Prüfung misst, wie genau die Bewegung der Quelle folgt, gleicht den Zeitversatz aus und schneidet abweichende Schlussframes ab. Danach kommt der Originalton wieder darunter, dazu ein Vorher/Nachher-Vergleich.

Und hier liegt die Ersparnis: Kein Prompt-Pingpong, weil der Skill aus geprüften Presets arbeitet. Getestet wird günstig in 480p. Nur den Lauf, den wir behalten, rendern wir mit identischen Eingaben in 1080p neu.

Drei Modi

  • Swap: Alles bleibt exakt wie gedreht, ein Element ändert sich. Produkt, Etikett, Farbe, Logo weg, Outfit, Kostüm, Frisur und Make-up, Schuhe, Fahrzeug.
  • Motion Transfer: Performance, Kamera und Timing bleiben, es ändert sich, wer spielt oder wo. Andere Person, eigene Figur, Tier, Maskottchen, neuer Ort, Tageszeit, Wetter, Epoche.
  • Restyle: Bewegung und Komposition bleiben, der ganze Look ändert sich. Anime, 3D-Animationsfilm, Malerei, Noir, Pixel, Comic.

Aus dem Studio-Test

Die ersten Läufe im Studio liefen Ende Oktober mit 480p auf Hochkant-Handyclips von sieben Sekunden, beim Stadion von vier. Gemessen wird die Bewegungstreue, die Korrelation zur Bewegung der Quelle. Ab 0.60 gilt die Bewegung als übernommen.

Person samt Kleidern ersetzen. Eingabe: ein Satz und ein Referenzbild einer anderen Person. Das Tool wählte das Preset «my-character» und den ersten Frame als Zielframe. Bewegungstreue 0.79.

Video ansehen

Mensch wird 3D-Animationsfigur. Bewegungstreue 0.85, der beste Wert der Reihe. Die Prüfung meldete, dass die letzten 5 von 161 Frames von der Quelle abweichen, und schnitt sie ab.

Video ansehen

Neuer Ort. «Die Person sitzt an einem gelben, glänzenden Tisch mitten auf dem Spielfeld des Stadions aus dem Bild.» Preset «new-location», Prüfung bestanden, Bewegungstreue 0.79, rund 55 Prozent des Bildes neu gezeichnet, kein Zeitversatz.

Der echte Seedance-Prompt aus dem Stadion-Lauf. Der erste Satz hält die Performance fest, der zweite beschreibt den neuen Ort, der Schluss schliesst alles andere aus.

Der SkillWorks with: Seedance 2.5 · Omni-Reference
Edit @video1. Keep exactly the same camera movement, framing, timing and every movement, gesture and expression of the bearded man in the dark navy blazer and white open-collar shirt, frame for frame. Move the whole scene to the centre of the football field inside the large red-seated stadium from the reference image, green turf with the central logo around him, red stands rising in every direction under a blue sky with big clouds, the man sitting at a glossy yellow table in the middle of the pitch as in @image1, which is a frame of this same shot in the new place: new ground, walls, sky and background; same performer, same clothes, same movements and camera path, light motivated by the new place. @image2 shows the same element on its own, for every detail from every side. Nothing else changes. No text, no letters, no logos, no watermarks.

Was wir gelernt haben

  • Ein Lauf, eine Änderung. Mehrere Änderungen werden verkettet, Varianten laufen getrennt auf dem Original.
  • Der Zielframe entscheidet. Er muss ein Einzelbild sein, kein Sheet mit mehreren Ansichten. Im ersten Test übernahm er die steife Pose aus dem Figurenblatt. Das Video wurde trotzdem gut, weil Seedance die Bewegung aus dem Clip nimmt, aber seither ist der Prompt strenger.
  • Referenzen ohne Schrift. Ein Schriftzug auf dem Referenzbild landete trotz «no text» im Video. Logos und Typo setzen wir lieber in der Post ein.
  • Zeitversatz ist Pflicht. Seedance lässt vorne etwa 0.17 Sekunden weg. Ohne Ausgleich lag die Bewegungstreue im Test bei 0.29, mit Ausgleich bei 0.85. Ehrlich gesagt der wichtigste Handgriff der ganzen Kette.
  • Ton nie von der KI. Ohne Original erfindet das Modell Ton, bis zu gemurmelten Stimmen. Am Schluss kommt immer der Originalton darunter. Passt bei einem Recast die Stimme nicht mehr, hilft ein Voice-Changer von Sprache zu Sprache, kein Text-to-Speech, das verschiebt die Lippen.
  • Erst günstig, dann final. Das 1080p-Ergebnis ist nicht framegleich mit dem Testlauf und wird nochmals geprüft.
  • Zahlen finden kaputte Edits, Augen finden den Rest. Erfundene Logos, Finger und Buchstaben sieht nur ein Mensch, in 100-Prozent-Ausschnitten.

Der ganze Skill

Hier ist Boffjitsu so, wie er im Studio arbeitet, nur ohne unser Tool drumherum. Der Skill ist werkzeugneutral: Er wählt Preset und Moment, schreibt beide Prompts und die Prüfliste. Generieren musst du selbst, in deinem Zugang zu Seedance 2.5 und Nano Banana. Kopieren, als SKILL.md bei deinem Agenten ablegen, fertig.

Das Prinzip steckt in den Bausteinen. Jeder Seedance-Prompt besteht aus der Eröffnung des Modus, der Change-Zeile des Presets und dem Abschluss. Umgeschrieben wird nichts, gefüllt werden nur die Felder in geschweiften Klammern. Der Stadion-Prompt oben ist genau so gebaut. Bei den Zielframes ist der Prompt für die eigene Figur der strengste: Pose und Ausschnitt kommen nur aus dem Videobild, die Referenz liefert nur den Look. Die Change-Zeilen sind eine Auswahl, die übrigen Presets folgen demselben Muster.

Der SkillWorks with: Seedance 2.5 · Omni-Reference · Nano Banana 2
---
name: boffjitsu
description: Verwenden, wenn jemand in einem bestehenden Video genau EINE Sache ändern will und die Performance (Bewegung, Kamera, Timing) behalten soll: Person oder Figur ersetzen, Outfit, Produkt, Logo weg, neuer Ort, Tageszeit, Wetter oder ein ganzer Stil (Anime, 3D, Noir …). Liefert Preset, Videomoment, Zielframe-Prompt für Nano Banana, Edit-Prompt für Seedance 2.5 (Omni-Reference) und die Prüfliste. Auch bei «Video umbauen», «Person austauschen», «im Video ersetzen», «Motion Transfer», «Video-to-Video-Edit».
---

# Boffjitsu: eine Sache ändern, die Performance behalten

Boffjitsu ist ein Rezept aus zwei Modellen:
- **Nano Banana** baut den **Zielframe**: ein Standbild aus dem Video mit der Änderung.
- **Seedance 2.5 Omni-Reference** zeichnet das Video danach neu. Bewegung, Kamera und Timing kommen Bild für Bild aus der Quelle.

## Grundregeln

1. **Pro Lauf genau eine Änderung.** Mehrere Änderungen verkettest du: Der zweite Lauf arbeitet auf dem Ergebnis des ersten. Für Varianten machst du mehrere Läufe auf dem Original.
2. **Der Satz des Users definiert, was passiert.** Du wählst Preset und Moment selbst und fragst nur zurück, wenn die Änderung wirklich unklar ist.
3. **Alle Modell-Prompts auf Englisch**, auch wenn der User Deutsch schreibt.
4. **Referenzen ohne Schrift.** Text auf Referenzbildern leckt ins Video, auch mit «no letters». Weise den User darauf hin.
5. **Tongenerierung aus**, wo der Anbieter das erlaubt. Am Schluss kommt immer der Originalton darunter.

## Schritt 1: Clip vorbereiten

Mit dem User prüfen:
- Länge 4–30 s, sonst an echten Schnitten teilen.
- Konstante Framerate, SDR, Drehung eingebrannt.
- Kurze Seite mindestens 480 px, lange Seite höchstens 1920 px.

Handyclips (HEVC, 4K, HDR, gedreht) vorher konvertieren, z. B. mit ffmpeg.

## Schritt 2: Preset wählen

| Modus | Bleibt | Ändert | Presets |
|---|---|---|---|
| **O · Swap** | alles | ein Element | product-swap, label-redesign, colourway, de-logo, prop-swap, device-swap, food-drink-swap, vehicle-swap, shoe-swap, accessory-swap, outfit, costume, season-outfit, hair-makeup |
| **M · Motion Transfer** | Performance, Kamera, Timing | wer oder wo | recast, my-character, creature, animal-swap, mascot-3d, game-character, new-location, time-of-day, weather, era, sci-fi, game-level, market-variant, phone-to-studio |
| **R · Restyle** | Bewegung, Komposition | der ganze Look | anime, 3d-feature, painterly, noir, pixel-retro, comic-ink, animation-to-live, clay (unzuverlässig) |

**`{who}`** = die Person, wie sie im Video zu sehen ist, z. B. «the man in the black quilted vest and light blue denim shirt».

## Schritt 3: Moment für den Zielframe wählen

- **Swap:** der Moment, in dem das Element am grössten und unverdeckt ist.
- **Person, Outfit, Ort:** die ganze Figur frontal, meist bei 0 s.
- **Restyle:** der erste Frame.

## Schritt 4: Zielframe-Prompt (Nano Banana)

- Bild 1 = Frame aus dem Video, Bild 2 = Referenz (optional).
- Seitenverhältnis wie die Quelle.
- 2 Varianten anfordern, **der User wählt**.

Den passenden Baustein unten unter «Bausteine» nehmen. Pflicht bei jeder Person oder Figur:
- ein einziges Bild, kein Blatt, keine Panels;
- gleiche Kopfhöhe und gleiche Bildkanten;
- Raum unverändert;
- Pose aus Bild 1, die Referenz liefert nur den Look.

**Abnahme mit dem User:**
- Stimmen Ausschnitt, Pose und Raum mit dem Videobild überein?
- Ist keine Schrift dazugekommen?

Wenn nicht, die Abweichung als Satz an den Prompt hängen und neu generieren.

## Schritt 5: Edit-Prompt (Seedance 2.5 Omni-Reference)

Prompt = Eröffnung des Modus + Change-Zeile des Presets + Abschluss (siehe «Bausteine»). Nichts umschreiben, nur die `{Felder}` füllen.

**Parameter:**

| Parameter | Wert |
|---|---|
| Route | Omni-Reference. Der Prompt beginnt mit `Edit @video1.` |
| Referenzvideo | der vorbereitete Clip, Rolle «Referenz» (nicht Startbild, nicht Charakter) |
| Bilder | `@image1` = Zielframe, `@image2` = Referenz. Die Reihenfolge muss zum Prompt passen. |
| Ton | aus, wo möglich |
| Format | wie die Quelle (manche Anbieter verlangen es explizit) |
| Dauer | wie die Quelle |
| Auflösung | Test 480p/720p, Final 1080p mit identischen Eingaben |

## Schritt 6: Prüfen

1. **Versatz:** Seedance schneidet vorne oft etwa 0.17 s ab. Ergebnis und Quelle vor jedem Vergleich und vor dem Tonanlegen ausrichten. Ohne Ausgleich wirkt alles asynchron.
2. **Schluss:** Die letzten Frames weichen oft ab, wenn die Quelle auf einer schnellen Bewegung endet. Abschneiden, bei allen Varianten eines Sets gleich viel.
3. **Mit dem Auge, in 100-%-Ausschnitten:**
   - Logos und Marken (auch Streifen, Häkchen, Sterne);
   - Finger, Griff um das Objekt;
   - Buchstaben auf Schildern und Bildschirmen;
   - erfundene Requisiten;
   - bei einem Recast der Ausdruck in den ersten Frames.
4. **Restyle:** Bleibt der Hintergrund fotografisch, mit einem gemalten ersten Frame als Zielframe neu generieren.

## Schritt 7: Fertigstellen

- **Originalton** darunterlegen, nach dem Versatz-Ausgleich.
- **Neuer Ort:** Atmo per Sound-Modell («recorded on a phone, no voices, no music») und Dialog darübermischen.
- **Andere Stimme beim Recast:** Voice-Changer Sprache-zu-Sprache, kein TTS.
- **Zum Zeigen:** Vorher/Nachher nebeneinander oder als Wipe.

## Antwortform

Gib dem User immer:
1. Preset und Modus in einem Satz auf Deutsch («Der Mann wird … ersetzt, die Bewegungen bleiben gleich.»)
2. den Moment im Video (Sekunde)
3. den Zielframe-Prompt (Englisch)
4. den Seedance-Prompt (Englisch)
5. die Bildreihenfolge
6. die Prüfliste

## Bausteine

### Eröffnung je Modus
O (Swap):
`Edit @video1. Keep absolutely everything exactly the same, frame for frame: {who} (face, body, every movement and expression), the camera movement, framing and lens, the set, the light and the timing.`

M (Motion Transfer):
`Edit @video1. Keep exactly the same camera movement, framing, timing and every movement, gesture and expression of {who}, frame for frame.`

R (Restyle):
`Restyle @video1 completely into {style}. Redraw every part of every frame in this style, {who} and the whole background alike; nothing may stay photographic: no photo texture, no lens look, no film grain. Keep exactly the same camera movement, framing, timing and every movement of {who}, frame for frame.`

### Abschluss
O und M: `Nothing else changes. No text, no letters, no logos, no watermarks.`

R: `It must look like a version of the shot made from scratch in this style, not a filter over the video. No text, no letters, no logos.`

### Change-Zeilen (Auswahl)
- product-swap: `Change only the {object} in the hand: it becomes the {product} from @image1, held exactly the same way at the same size, printed and lit exactly as in @image1.`
- de-logo: `Remove every logo, brand mark, word and number from the {object}; the surfaces stay plain, same material and colour.`
- outfit: `Change only the clothes to the outfit in @image1, which is a frame of this same shot: {outfit}. Same fit to the body, the fabric moving and creasing naturally with every movement.`
- recast: `The person becomes the person in @image1, which is a frame of this same shot: {new_person}. Same movements, expressions and lip movements; the clothes, the set and the light stay exactly as in @video1.`
- my-character: `{who} becomes the recurring character in @image1, identical face and outfit as in @image1, same performance.`
- new-location: `Move the whole scene to {location} as in @image1, which is a frame of this same shot in the new place: new ground, walls, sky and background; same performer, same clothes, same movements and camera path, light motivated by the new place.`
- time-of-day: `Same place at {time}; the light direction and shadows change, nothing else.`
- anime: `{who} is a hand-drawn anime character with the same hair and clothes. The background ({place}) is hand-painted anime background art with flat colour areas and painted clouds.`

Mit Referenzbild kommt dazu: `@image2 shows the same character on its own, for every detail from every side.`

Restyle mit Zielframe kommt dazu: `@image1 is the first frame of the result: every frame must look exactly like it.`

### Zielframe-Prompts (Nano Banana)
Swap:
`Photo retouch. Keep the photograph @image1 exactly as it is: same framing, same person, same hands and fingers, same light, background, focus and grain. Only this changes: {ziel}. Take its exact look, shape and design from @image2. It is a real thing photographed in this light: highlights, shadows, reflections and how the fingers overlap it all match the scene. It must look photographed, not pasted on. No text, no letters, no logos.`

Recast:
`Photo retouch. Keep the photograph @image1 exactly as it is: same framing, same pose, same clothes, same light, background, focus and grain. Only the person changes: {ziel}. The new person looks exactly like the person in @image2. @image2 is only for the face, hair and skin: ignore its pose, camera angle, distance, framing and background. They wear exactly the same clothes as before, at the same size and position in the frame. Real skin texture, not retouched, an ordinary person, not a model. No text, no letters, no logos.`

Eigene Figur / Kreatur / Maskottchen (Fassung nach dem Studio-Test vom 28.10.):
`Photo retouch of a single photograph with the aspect ratio of @image1. Output one single image, not a sheet, not several panels. Keep the photograph @image1 exactly as it is: the same camera position, the same distance, the same lens and the same crop. The new person fills the frame exactly like the person in @image1: the top of the head at the same height, the frame edges cutting the body at the same places. The room stays exactly as in @image1: every object in the same place, nothing added, nothing removed, same light, focus and grain. Only the person changes: {ziel}. Copy the face, hair, skin and the clothes exactly from @image2, only as far as they are visible in this crop. @image2 is only for the look: ignore its pose, its camera angle, its distance, its framing and its background. Whatever the frame edges of @image1 cut off stays out of the frame. Same pose as in @image1: same head angle, same shoulder line, arms and hands at the same positions. Head and shoulders sit at the same size and position in the frame. Real skin texture, real fabric creases, lit by the light of this room. It must look photographed, not pasted on. No text, no letters, no logos.`

Neuer Ort / Welt:
`Keep the person in @image1 exactly as they are: same face, clothes, pose and stride, same size and position in the frame, same camera height and lens. Change the whole place around them: {ziel}. The place looks like @image2. Their light and shadows match the new place. No text, no signs, no letters, no logos.`

Restyle:
`Redraw the photograph @image1 completely as a frame of {style}. Same composition, same framing, same person in the same pose. Everything is redrawn in this style, the person and the whole background alike: {ziel}. Nothing photographic remains. No text, no letters, no logos.`

Grenzen

Boffjitsu ist ein Rezept, kein Modell. Im Studio läuft Seedance über TopView. Andere Anbieter benennen die Felder anders, das Prinzip mit «Edit @video1.» und Omni-Reference bleibt gleich. Und eine Restyle-Variante wie Knete ist bei uns noch unzuverlässig.

Eine Idee, die zu gross war?

Erzähl uns in ein paar Sätzen davon. Wir antworten innert eines Arbeitstags.hello@miraki.ch+41 31 348 90 90
Projekt starten