Miraki Mind

Video-to-video: cambiare una cosa, tenere la performance

Con Genjutsu, Higgsfield ha mostrato come può essere l’editing video-to-video. Abbiamo ricostruito il principio come skill nostro e l’abbiamo integrato nel nostro strumento di studio. Due modelli esistenti, 36 preset testati e molti meno crediti bruciati.

Yves FarineRegia · Film generativo · 1 novembre 2026 · 16 min di lettura

Una ripresa girata, una performance riuscita, eppure una cosa non va: l’outfit, il prodotto in mano, il luogo. Una volta significava rigirare. Con l’editing video-to-video si sostituisce proprio quell’elemento, mentre tutto il resto resta com’è stato girato. Higgsfield chiama il suo strumento Genjutsu, con le modalità Motion Transfer e Object Swap.

Abbiamo ricostruito il principio come skill nostro e l’abbiamo integrato direttamente in BOFF.studio, lo strumento in cui produciamo i nostri film. Internamente si chiama Boffjitsu. Non è un modello di IA a sé, ma una ricetta fatta di due modelli che usiamo comunque ogni giorno.

La ricetta

Nano Banana crea una singola immagine fissa con la modifica, il frame di destinazione. Seedance 2.5 poi ridisegna l’intera ripresa in modalità Omni-Reference e prende il movimento dall’originale. Movimento, camera, timing e inquadratura arrivano fotogramma per fotogramma dal girato.

L’IA non inventa alcun movimento. La performance è tua, l’IA cambia solo il costume, la persona o la scenografia.

Cinque passi

  1. Preparare la ripresa. Le clip dal telefono arrivano spesso in 4K, in HEVC, ruotate o a 59,94 fps. Vengono normalizzate: SDR, rotazione applicata, lato corto di almeno 480 px, lato lungo di al massimo 1920 px, durata da 4 a 30 secondi.
  2. Una frase. Scrivo in tedesco cosa deve succedere. Lo strumento sceglie uno dei 36 preset testati, compila i campi in inglese e trova, su un provino di dodici momenti, il fotogramma giusto del video.
  3. Approvare il frame di destinazione. Da quel fotogramma e dalla mia referenza, Nano Banana crea un’immagine fissa con la modifica. È l’unico momento in cui decido: va bene, da modificare o nuovo tentativo.
  4. Edit video. Seedance riceve la ripresa come video di referenza, il frame di destinazione come @image1 e, facoltativamente, la referenza come @image2. Il prompt inizia con «Edit @video1.», che attiva la modalità edit.
  5. Controllare e finalizzare. Un controllo automatico misura quanto fedelmente il movimento segue la sorgente, compensa lo sfasamento temporale e taglia i fotogrammi finali che divergono. Poi sotto torna l’audio originale, insieme a un confronto prima/dopo.

Ed è qui che sta il risparmio: niente ping-pong di prompt, perché lo skill lavora con preset verificati. I test si fanno a basso costo in 480p. Solo la versione che teniamo viene renderizzata di nuovo in 1080p, con input identici.

Tre modalità

  • Swap: tutto resta esattamente come girato, cambia un elemento. Prodotto, etichetta, colore, logo rimosso, outfit, costume, capelli e trucco, scarpe, veicolo.
  • Motion Transfer: performance, camera e timing restano; cambia chi recita o dove. Un’altra persona, il tuo personaggio, un animale, una mascotte, un nuovo luogo, l’ora del giorno, il meteo, l’epoca.
  • Restyle: movimento e composizione restano, cambia tutto il look. Anime, film d’animazione 3D, pittura, noir, pixel, fumetto.

Dal test in studio

Le prime prove in studio si sono svolte a fine ottobre in 480p, su clip verticali dal telefono di sette secondi, quattro per lo stadio. Si misura la fedeltà del movimento, la correlazione con il movimento della sorgente. Da 0,60 il movimento si considera ripreso.

Sostituire una persona, vestiti compresi. Input: una frase e un’immagine di referenza di un’altra persona. Lo strumento ha scelto il preset «my-character» e il primo fotogramma come frame di destinazione. Fedeltà del movimento 0,79.

Guarda il video

Una persona diventa un personaggio d’animazione 3D. Fedeltà del movimento 0,85, il valore migliore della serie. Il controllo ha segnalato che gli ultimi 5 dei 161 fotogrammi divergevano dalla sorgente e li ha tagliati.

Guarda il video

Nuovo luogo. «La persona è seduta a un tavolo giallo e lucido al centro del campo dello stadio dell’immagine.» Preset «new-location», controllo superato, fedeltà del movimento 0,79, circa il 55 per cento dell’immagine ridisegnato, nessuno sfasamento.

Il vero prompt Seedance della prova allo stadio. La prima frase fissa la performance, la seconda descrive il nuovo luogo, la chiusura esclude tutto il resto.

Lo skillWorks with: Seedance 2.5 · Omni-Reference
Edit @video1. Keep exactly the same camera movement, framing, timing and every movement, gesture and expression of the bearded man in the dark navy blazer and white open-collar shirt, frame for frame. Move the whole scene to the centre of the football field inside the large red-seated stadium from the reference image, green turf with the central logo around him, red stands rising in every direction under a blue sky with big clouds, the man sitting at a glossy yellow table in the middle of the pitch as in @image1, which is a frame of this same shot in the new place: new ground, walls, sky and background; same performer, same clothes, same movements and camera path, light motivated by the new place. @image2 shows the same element on its own, for every detail from every side. Nothing else changes. No text, no letters, no logos, no watermarks.

Cosa abbiamo imparato

  • Un passaggio, una modifica. Più modifiche si concatenano; le varianti girano separatamente sull’originale.
  • Il frame di destinazione decide. Deve essere un’immagine singola, non un foglio con più viste. Nel primo test ha ripreso la posa rigida del foglio del personaggio. Il video è riuscito lo stesso, perché Seedance prende il movimento dalla ripresa, ma da allora il prompt è più severo.
  • Referenze senza scritte. Una scritta sull’immagine di referenza è finita nel video nonostante «no text». Loghi e tipografia preferiamo inserirli in post-produzione.
  • Lo sfasamento temporale è obbligatorio. Seedance perde circa 0,17 secondi all’inizio. Senza compensazione, nel test la fedeltà del movimento era 0,29, con compensazione 0,85. Onestamente il passaggio più importante di tutta la catena.
  • Mai audio dall’IA. Senza l’originale, il modello inventa l’audio, fino a voci borbottate. Alla fine sotto va sempre l’audio originale. Se dopo un recast la voce non torna più, aiuta un voice changer da voce a voce, non il text-to-speech, che sposta le labbra.
  • Prima economico, poi definitivo. Il risultato in 1080p non è identico fotogramma per fotogramma alla prova e viene controllato di nuovo.
  • I numeri trovano gli edit rotti, gli occhi trovano il resto. Loghi inventati, dita e lettere li vede solo una persona, in ritagli al 100 per cento.

Lo skill completo

Ecco Boffjitsu così come lavora in studio, solo senza il nostro strumento intorno. Lo skill è neutro rispetto agli strumenti: sceglie preset e momento, scrive entrambi i prompt e la checklist. A generare devi pensarci tu, con il tuo accesso a Seedance 2.5 e Nano Banana. Copiarlo, salvarlo come SKILL.md per il tuo agente, fatto. Lo usiamo in tedesco, così come gira in studio; i prompt per i modelli sono comunque in inglese.

Il principio sta nei mattoni. Ogni prompt Seedance è composto dall’apertura della modalità, dalla riga di modifica del preset e dalla chiusura. Non si riscrive nulla, si compilano solo i campi tra parentesi graffe. Il prompt dello stadio qui sopra è costruito esattamente così. Tra i frame di destinazione, il prompt per il tuo personaggio è il più severo: posa e inquadratura vengono solo dal fotogramma del video, la referenza fornisce solo il look. Le righe di modifica sono una selezione, gli altri preset seguono lo stesso schema.

Lo skillWorks with: Seedance 2.5 · Omni-Reference · Nano Banana 2
---
name: boffjitsu
description: Verwenden, wenn jemand in einem bestehenden Video genau EINE Sache ändern will und die Performance (Bewegung, Kamera, Timing) behalten soll: Person oder Figur ersetzen, Outfit, Produkt, Logo weg, neuer Ort, Tageszeit, Wetter oder ein ganzer Stil (Anime, 3D, Noir …). Liefert Preset, Videomoment, Zielframe-Prompt für Nano Banana, Edit-Prompt für Seedance 2.5 (Omni-Reference) und die Prüfliste. Auch bei «Video umbauen», «Person austauschen», «im Video ersetzen», «Motion Transfer», «Video-to-Video-Edit».
---

# Boffjitsu: eine Sache ändern, die Performance behalten

Boffjitsu ist ein Rezept aus zwei Modellen:
- **Nano Banana** baut den **Zielframe**: ein Standbild aus dem Video mit der Änderung.
- **Seedance 2.5 Omni-Reference** zeichnet das Video danach neu. Bewegung, Kamera und Timing kommen Bild für Bild aus der Quelle.

## Grundregeln

1. **Pro Lauf genau eine Änderung.** Mehrere Änderungen verkettest du: Der zweite Lauf arbeitet auf dem Ergebnis des ersten. Für Varianten machst du mehrere Läufe auf dem Original.
2. **Der Satz des Users definiert, was passiert.** Du wählst Preset und Moment selbst und fragst nur zurück, wenn die Änderung wirklich unklar ist.
3. **Alle Modell-Prompts auf Englisch**, auch wenn der User Deutsch schreibt.
4. **Referenzen ohne Schrift.** Text auf Referenzbildern leckt ins Video, auch mit «no letters». Weise den User darauf hin.
5. **Tongenerierung aus**, wo der Anbieter das erlaubt. Am Schluss kommt immer der Originalton darunter.

## Schritt 1: Clip vorbereiten

Mit dem User prüfen:
- Länge 4–30 s, sonst an echten Schnitten teilen.
- Konstante Framerate, SDR, Drehung eingebrannt.
- Kurze Seite mindestens 480 px, lange Seite höchstens 1920 px.

Handyclips (HEVC, 4K, HDR, gedreht) vorher konvertieren, z. B. mit ffmpeg.

## Schritt 2: Preset wählen

| Modus | Bleibt | Ändert | Presets |
|---|---|---|---|
| **O · Swap** | alles | ein Element | product-swap, label-redesign, colourway, de-logo, prop-swap, device-swap, food-drink-swap, vehicle-swap, shoe-swap, accessory-swap, outfit, costume, season-outfit, hair-makeup |
| **M · Motion Transfer** | Performance, Kamera, Timing | wer oder wo | recast, my-character, creature, animal-swap, mascot-3d, game-character, new-location, time-of-day, weather, era, sci-fi, game-level, market-variant, phone-to-studio |
| **R · Restyle** | Bewegung, Komposition | der ganze Look | anime, 3d-feature, painterly, noir, pixel-retro, comic-ink, animation-to-live, clay (unzuverlässig) |

**`{who}`** = die Person, wie sie im Video zu sehen ist, z. B. «the man in the black quilted vest and light blue denim shirt».

## Schritt 3: Moment für den Zielframe wählen

- **Swap:** der Moment, in dem das Element am grössten und unverdeckt ist.
- **Person, Outfit, Ort:** die ganze Figur frontal, meist bei 0 s.
- **Restyle:** der erste Frame.

## Schritt 4: Zielframe-Prompt (Nano Banana)

- Bild 1 = Frame aus dem Video, Bild 2 = Referenz (optional).
- Seitenverhältnis wie die Quelle.
- 2 Varianten anfordern, **der User wählt**.

Den passenden Baustein unten unter «Bausteine» nehmen. Pflicht bei jeder Person oder Figur:
- ein einziges Bild, kein Blatt, keine Panels;
- gleiche Kopfhöhe und gleiche Bildkanten;
- Raum unverändert;
- Pose aus Bild 1, die Referenz liefert nur den Look.

**Abnahme mit dem User:**
- Stimmen Ausschnitt, Pose und Raum mit dem Videobild überein?
- Ist keine Schrift dazugekommen?

Wenn nicht, die Abweichung als Satz an den Prompt hängen und neu generieren.

## Schritt 5: Edit-Prompt (Seedance 2.5 Omni-Reference)

Prompt = Eröffnung des Modus + Change-Zeile des Presets + Abschluss (siehe «Bausteine»). Nichts umschreiben, nur die `{Felder}` füllen.

**Parameter:**

| Parameter | Wert |
|---|---|
| Route | Omni-Reference. Der Prompt beginnt mit `Edit @video1.` |
| Referenzvideo | der vorbereitete Clip, Rolle «Referenz» (nicht Startbild, nicht Charakter) |
| Bilder | `@image1` = Zielframe, `@image2` = Referenz. Die Reihenfolge muss zum Prompt passen. |
| Ton | aus, wo möglich |
| Format | wie die Quelle (manche Anbieter verlangen es explizit) |
| Dauer | wie die Quelle |
| Auflösung | Test 480p/720p, Final 1080p mit identischen Eingaben |

## Schritt 6: Prüfen

1. **Versatz:** Seedance schneidet vorne oft etwa 0.17 s ab. Ergebnis und Quelle vor jedem Vergleich und vor dem Tonanlegen ausrichten. Ohne Ausgleich wirkt alles asynchron.
2. **Schluss:** Die letzten Frames weichen oft ab, wenn die Quelle auf einer schnellen Bewegung endet. Abschneiden, bei allen Varianten eines Sets gleich viel.
3. **Mit dem Auge, in 100-%-Ausschnitten:**
   - Logos und Marken (auch Streifen, Häkchen, Sterne);
   - Finger, Griff um das Objekt;
   - Buchstaben auf Schildern und Bildschirmen;
   - erfundene Requisiten;
   - bei einem Recast der Ausdruck in den ersten Frames.
4. **Restyle:** Bleibt der Hintergrund fotografisch, mit einem gemalten ersten Frame als Zielframe neu generieren.

## Schritt 7: Fertigstellen

- **Originalton** darunterlegen, nach dem Versatz-Ausgleich.
- **Neuer Ort:** Atmo per Sound-Modell («recorded on a phone, no voices, no music») und Dialog darübermischen.
- **Andere Stimme beim Recast:** Voice-Changer Sprache-zu-Sprache, kein TTS.
- **Zum Zeigen:** Vorher/Nachher nebeneinander oder als Wipe.

## Antwortform

Gib dem User immer:
1. Preset und Modus in einem Satz auf Deutsch («Der Mann wird … ersetzt, die Bewegungen bleiben gleich.»)
2. den Moment im Video (Sekunde)
3. den Zielframe-Prompt (Englisch)
4. den Seedance-Prompt (Englisch)
5. die Bildreihenfolge
6. die Prüfliste

## Bausteine

### Eröffnung je Modus
O (Swap):
`Edit @video1. Keep absolutely everything exactly the same, frame for frame: {who} (face, body, every movement and expression), the camera movement, framing and lens, the set, the light and the timing.`

M (Motion Transfer):
`Edit @video1. Keep exactly the same camera movement, framing, timing and every movement, gesture and expression of {who}, frame for frame.`

R (Restyle):
`Restyle @video1 completely into {style}. Redraw every part of every frame in this style, {who} and the whole background alike; nothing may stay photographic: no photo texture, no lens look, no film grain. Keep exactly the same camera movement, framing, timing and every movement of {who}, frame for frame.`

### Abschluss
O und M: `Nothing else changes. No text, no letters, no logos, no watermarks.`

R: `It must look like a version of the shot made from scratch in this style, not a filter over the video. No text, no letters, no logos.`

### Change-Zeilen (Auswahl)
- product-swap: `Change only the {object} in the hand: it becomes the {product} from @image1, held exactly the same way at the same size, printed and lit exactly as in @image1.`
- de-logo: `Remove every logo, brand mark, word and number from the {object}; the surfaces stay plain, same material and colour.`
- outfit: `Change only the clothes to the outfit in @image1, which is a frame of this same shot: {outfit}. Same fit to the body, the fabric moving and creasing naturally with every movement.`
- recast: `The person becomes the person in @image1, which is a frame of this same shot: {new_person}. Same movements, expressions and lip movements; the clothes, the set and the light stay exactly as in @video1.`
- my-character: `{who} becomes the recurring character in @image1, identical face and outfit as in @image1, same performance.`
- new-location: `Move the whole scene to {location} as in @image1, which is a frame of this same shot in the new place: new ground, walls, sky and background; same performer, same clothes, same movements and camera path, light motivated by the new place.`
- time-of-day: `Same place at {time}; the light direction and shadows change, nothing else.`
- anime: `{who} is a hand-drawn anime character with the same hair and clothes. The background ({place}) is hand-painted anime background art with flat colour areas and painted clouds.`

Mit Referenzbild kommt dazu: `@image2 shows the same character on its own, for every detail from every side.`

Restyle mit Zielframe kommt dazu: `@image1 is the first frame of the result: every frame must look exactly like it.`

### Zielframe-Prompts (Nano Banana)
Swap:
`Photo retouch. Keep the photograph @image1 exactly as it is: same framing, same person, same hands and fingers, same light, background, focus and grain. Only this changes: {ziel}. Take its exact look, shape and design from @image2. It is a real thing photographed in this light: highlights, shadows, reflections and how the fingers overlap it all match the scene. It must look photographed, not pasted on. No text, no letters, no logos.`

Recast:
`Photo retouch. Keep the photograph @image1 exactly as it is: same framing, same pose, same clothes, same light, background, focus and grain. Only the person changes: {ziel}. The new person looks exactly like the person in @image2. @image2 is only for the face, hair and skin: ignore its pose, camera angle, distance, framing and background. They wear exactly the same clothes as before, at the same size and position in the frame. Real skin texture, not retouched, an ordinary person, not a model. No text, no letters, no logos.`

Eigene Figur / Kreatur / Maskottchen (Fassung nach dem Studio-Test vom 28.10.):
`Photo retouch of a single photograph with the aspect ratio of @image1. Output one single image, not a sheet, not several panels. Keep the photograph @image1 exactly as it is: the same camera position, the same distance, the same lens and the same crop. The new person fills the frame exactly like the person in @image1: the top of the head at the same height, the frame edges cutting the body at the same places. The room stays exactly as in @image1: every object in the same place, nothing added, nothing removed, same light, focus and grain. Only the person changes: {ziel}. Copy the face, hair, skin and the clothes exactly from @image2, only as far as they are visible in this crop. @image2 is only for the look: ignore its pose, its camera angle, its distance, its framing and its background. Whatever the frame edges of @image1 cut off stays out of the frame. Same pose as in @image1: same head angle, same shoulder line, arms and hands at the same positions. Head and shoulders sit at the same size and position in the frame. Real skin texture, real fabric creases, lit by the light of this room. It must look photographed, not pasted on. No text, no letters, no logos.`

Neuer Ort / Welt:
`Keep the person in @image1 exactly as they are: same face, clothes, pose and stride, same size and position in the frame, same camera height and lens. Change the whole place around them: {ziel}. The place looks like @image2. Their light and shadows match the new place. No text, no signs, no letters, no logos.`

Restyle:
`Redraw the photograph @image1 completely as a frame of {style}. Same composition, same framing, same person in the same pose. Everything is redrawn in this style, the person and the whole background alike: {ziel}. Nothing photographic remains. No text, no letters, no logos.`

Limiti

Boffjitsu è una ricetta, non un modello. In studio Seedance passa da TopView. Altri fornitori chiamano i campi in modo diverso; il principio di «Edit @video1.» e Omni-Reference resta lo stesso. E una variante restyle come la plastilina da noi è ancora poco affidabile.

Un’idea che era troppo grande?

Raccontacelo in poche righe. Rispondiamo entro un giorno lavorativo.hello@miraki.ch+41 31 348 90 90
Avvia un progetto