Oggi ho voglia di sperimentare con il lipsync, voglio capire fin dove può arrivare Seedance quando gli dai input puliti e coerenti e poi lo lasci “recitare”. Farò tutto in inglese perché al momento l’italiano in generazione (soprattutto sulle micro articolazioni della bocca) non è ancora affidabile come vorrei, e se sto testando un sistema preferisco togliere variabili inutili. Quindici secondi, un take unico, una battuta che tutti riconoscono (“be or not to be”) e un personaggio che stona in modo perfetto… un clown spaventoso, metà volto ustionato, qualche corno demoniaco e con una voce che sembra arrivare dal buio. Vado d’istinto… nonci voglio pensare troppo…
Boom!
L’asimmetria del volto ustionato, l’occhio lattiginoso, le corna e il trucco crepato costruiscono una firma visiva autonoma, più demoniaca e “da circo marcio” che non da pagliaccio da fognatura. Mi voglio tenere lontano dall’estetica di IT (e ridurre il rischio di essere bloccato o frainteso), la direzione giusta è spingere sul registro del ringmaster decadente e del body horror controllato, evitando elementi iconici che richiamano subito Pennywise (colletto a ruota troppo “pulito”, rosso acceso da costume da clown classico, palloncini, sorriso perfettamente simmetrico e giocoso). Qui invece funziona l’idea di “teatralità sporca”, palette scura e rugginosa, denti irregolari, espressioni che vanno dal sorriso predatorio alla calma letale. È un tipo di paura più adulta e meno citazionista, e proprio per questo più sicura anche a livello di percezione e moderazione.
La mise
Questa turnaround mi risolve proprio il dubbio della “mise” perché qui il personaggio non vive di eleganza, vive di materia. La cosa più adatta, se vuoi restare facile, istintivo e quasi banale (nel senso buono, cioè immediato), è spingere senza paura sul principio “stracci, stracci, stracci”… strati su strati, tagli irregolari, tessuti pesanti consumati, cuciture che sembrano riparazioni fatte in fretta, frange che pendono e si muovono anche con un soffio d’aria. La silhouette è già forte (colletto e spalle da ringmaster decadente, pantaloni larghi, scarponi appuntiti), quindi non ti serve “inventare moda”, ti serve sporcare e rendere credibile, far capire che questo costume non è un costume da palco, è un residuo, un’uniforme che ha continuato a esistere dopo lo spettacolo. E questo è perfetto anche per Seedance, perché i materiali ripetuti e riconoscibili (pelle, stoffa lacerata, metallo ossidato, palette ruggine e nero) riducono il rischio che il modello impazzisca con dettagli nuovi, più strati coerenti metti, più gli dai appigli visivi per rimanere stabile.
Il palco
Questo background è il palco perfetto proprio perché sembra malato, come se il circo non fosse stato semplicemente abbandonato ma avesse continuato a marcire da solo, notte dopo notte. Il pavimento bagnato che riflette, la polvere che taglia i fasci di luce, il tetto rotto che lascia entrare un chiarore freddo dall’alto sono dettagli che trasformano lo spazio in una presenza, non in un semplice sfondo. Qui il “putrido” non è gore, è atmosfera (ruggine, muffa, stoffe fradice, metallo consumato), e questo aiuta tantissimo anche in Seedance perché giustifica l’instabilità visiva come parte della scena con ombre profonde, contrasti netti, movimento minimo di tende e detriti, tutto contribuisce a un senso di infezione lenta. È un luogo che sembra ricordare lo spettacolo, ma con odio, e per un clown che recita Shakespeare da qualche angolo buio è la cornice più coerente che posso scegliere.
Una voce dal profondo
Mi serve una voce fisica, pesante, come se parlasse dal diaframma e dalla pancia, con pochissima aria e un controllo chirurgico sulle pause (perché il lipsync vive lì, non nel timbro).
Per Eleven v3 imposto il prompt come se stessi dirigendo un attore in sala, quindi con indicazioni molto concrete su respirazione, risonanza, ritmo e intenzione.
Male voice. Extremely low register, sub-bass chest resonance, as if the sound originates from the stomach. Slow, controlled delivery. Minimal breathiness, almost no air on consonants, but crisp articulation. Intimate and unsettling, like speaking from darkness a few meters away. Keep the tone calm and predatory, not angry. Add subtle vocal fry on sustained vowels. Pace: measured, with two deliberate pauses that feel like thoughts forming. Dynamic range: quiet but intense, close-mic presence, dry recording (no reverb).
[slow inhale through nose] (eyes fixed. no blink) “Be…” (2 sec silence) (half smile forming only on one side) “…or…” (short breath through teeth) “…not…” (eyes widen slightly) “…to be.” (long stare) (barely audible laugh through nose) “That…” (step forward) “…is…” (smile stretches unnaturally wider) “…the question.” (hold eye contact) (no blink) (exhale slowly)Lo storyboard
Lo storyboard in JSON serve a “bloccare” la regia in modo che Seedance non debba inventare troppo, in 15 secondi scandisci una micro-escalation fatta di otto beat da 1–2 secondi ciascuno, dove la camera parte invasiva (close/extra close, quasi immobile), poi si avvicina lentamente mentre la recitazione passa dalla fissità predatoria a un sorriso asimmetrico sempre più innaturale, con pochissimo blinking e con gesti delle mani lenti, teatrali, quasi rituali; la luce resta un unico spotlight nel buio totale (con piccoli flicker e variazioni di intensità per giustificare ombre e imperfezioni), così l’ambiente non “ruba” attenzione e tutto il budget percettivo va su bocca, occhi e pelle ustionata. In pratica, il JSON è un contratto di coerenza, stessi tratti del personaggio, stesso linguaggio di luce, stessa progressione emotiva, e un finale secco (blackout) che chiude prima che il modello inizi a degradare la continuità.
{
"storyboard_shotcard_json": {
"scene_meta": {
"title": "Devil Clown - Be Or Not To Be",
"duration_sec_total": 15,
"style": "cinematic horror",
"lighting_style": "single theatrical spotlight in total darkness",
"environment_visibility": "background mostly invisible",
"camera_language": "slow escalation from static tension to invasive intimacy",
"audio_style": "close-mic whisper performance with visible breathing",
"ending": "light abruptly shuts off back to full black"
},
"character": {
"id": "DEVIL_CLOWN_01",
"description": "devil clown with half burned face, blind white eye, cracked makeup, sharp teeth, red hair, theatrical horror acting",
"performance_style": [
"predatory stillness",
"minimal blinking",
"slow asymmetrical smile escalation",
"controlled hand gestures",
"psychological intimidation"
]
},
"shots": [
{
"shot_id": "SHOT_01",
"timecode": {
"start_sec": 0.0,
"end_sec": 2.0,
"duration_sec": 2.0
},
"visual_transition": "fade_from_black",
"framing": "ECU",
"camera_angle": "front",
"lens_mm": 85,
"camera_move": "static",
"lighting": {
"type": "hard_spotlight",
"behavior": "light snaps on suddenly",
"visibility": "only face partially visible",
"background": "pure black"
},
"audio": {
"ambience": "wind in distance",
"breath": "slow inhale through nose"
},
"action_beat": "From complete darkness, a hard spotlight suddenly reveals only the clown face. He remains motionless, eyes fixed into camera.",
"dialogue": "",
"facs": {
"au_list": [
{
"au": "AU7",
"name": "Lid Tightener",
"intensity_AE": "B",
"evidence": "unblinking predatory stare"
},
{
"au": "AU24",
"name": "Lip Pressor",
"intensity_AE": "C",
"evidence": "mouth compressed and controlled"
}
],
"gaze": "eye_contact",
"blink": "none"
},
"hand_acting": {
"visibility": "hands not visible yet",
"movement": "none"
},
"performance_note": "The sudden appearance should feel invasive and supernatural."
},
{
"shot_id": "SHOT_02",
"timecode": {
"start_sec": 2.0,
"end_sec": 4.0,
"duration_sec": 2.0
},
"framing": "CU",
"camera_angle": "slightly_low",
"lens_mm": 85,
"camera_move": "slow_push_in",
"lighting": {
"type": "single_spotlight",
"behavior": "light flickers subtly",
"background": "black void"
},
"audio": {
"voice": "Be..."
},
"action_beat": "The clown whispers 'Be...' while one burned hand slowly rises into frame near the chin.",
"dialogue": "Be...",
"facs": {
"au_list": [
{
"au": "AU24",
"name": "Lip Pressor",
"intensity_AE": "B",
"evidence": "minimal mouth movement before word"
},
{
"au": "AU25",
"name": "Lips Part",
"intensity_AE": "A",
"evidence": "lips part softly for whisper"
}
],
"gaze": "eye_contact",
"blink": "none"
},
"hand_acting": {
"movement": "fingers slowly curl upward near face",
"emotion": "ritualistic control"
},
"performance_note": "The hand movement should feel slow and deliberate, almost puppet-like."
},
{
"shot_id": "SHOT_03",
"timecode": {
"start_sec": 4.0,
"end_sec": 6.0,
"duration_sec": 2.0
},
"framing": "MCU",
"camera_angle": "three_quarter",
"lens_mm": 65,
"camera_move": "slow_dolly_in",
"lighting": {
"type": "spotlight_side_bias",
"behavior": "burned side partially hidden in shadow"
},
"audio": {
"pause": "2 sec silence",
"voice": "...or..."
},
"action_beat": "A half smile slowly appears on only one side of the mouth while the hand drifts outward in a theatrical gesture.",
"dialogue": "...or...",
"facs": {
"au_list": [
{
"au": "AU12",
"name": "Lip Corner Puller",
"intensity_AE": "B",
"evidence": "asymmetrical smile emerging"
},
{
"au": "AU14",
"name": "Dimpler",
"intensity_AE": "B",
"evidence": "one cheek tightens"
},
{
"au": "AU23",
"name": "Lip Tightener",
"intensity_AE": "B",
"evidence": "tension beneath smile"
}
],
"gaze": "eye_contact",
"blink": "none"
},
"hand_acting": {
"movement": "one hand opens outward slowly",
"emotion": "inviting the audience into the madness"
},
"performance_note": "The gesture should resemble a stage actor presenting a dark secret."
},
{
"shot_id": "SHOT_04",
"timecode": {
"start_sec": 6.0,
"end_sec": 8.0,
"duration_sec": 2.0
},
"framing": "CU",
"camera_angle": "front",
"lens_mm": 85,
"camera_move": "static",
"lighting": {
"type": "hard_top_light",
"behavior": "eyes become more visible"
},
"audio": {
"breath": "short breath through teeth",
"voice": "...not..."
},
"action_beat": "He exhales sharply through his teeth. Eyes widen slightly while both hands enter frame briefly near the chest.",
"dialogue": "...not...",
"facs": {
"au_list": [
{
"au": "AU5",
"name": "Upper Lid Raiser",
"intensity_AE": "A",
"evidence": "eyes widen slightly"
},
{
"au": "AU7",
"name": "Lid Tightener",
"intensity_AE": "C",
"evidence": "eye tension increases"
},
{
"au": "AU24",
"name": "Lip Pressor",
"intensity_AE": "C",
"evidence": "mouth rigid after clipped word"
}
],
"gaze": "eye_contact",
"blink": "none"
},
"hand_acting": {
"movement": "hands tense near chest then lower slowly",
"emotion": "suppressed violence"
},
"performance_note": "This is the first moment where instability becomes visible."
},
{
"shot_id": "SHOT_05",
"timecode": {
"start_sec": 8.0,
"end_sec": 10.0,
"duration_sec": 2.0
},
"framing": "CU",
"camera_angle": "slightly_low",
"lens_mm": 100,
"camera_move": "slow_push_in",
"lighting": {
"type": "spotlight_narrower",
"behavior": "light tightens around face and hands"
},
"audio": {
"voice": "...to be.",
"extra": "barely audible laugh through nose"
},
"action_beat": "The clown leans slightly forward. Fingers slowly trace across his burned cheek while the smile grows.",
"dialogue": "...to be.",
"facs": {
"au_list": [
{
"au": "AU12",
"name": "Lip Corner Puller",
"intensity_AE": "C",
"evidence": "smile spreading wider"
},
{
"au": "AU17",
"name": "Chin Raiser",
"intensity_AE": "B",
"evidence": "chin tightens during line"
},
{
"au": "AU6",
"name": "Cheek Raiser",
"intensity_AE": "A",
"evidence": "micro amusement during nasal laugh"
}
],
"gaze": "eye_contact",
"blink": "none"
},
"hand_acting": {
"movement": "fingers drag slowly across burned skin",
"emotion": "self-aware theatrical horror"
},
"performance_note": "This should feel intimate and deeply uncomfortable."
},
{
"shot_id": "SHOT_06",
"timecode": {
"start_sec": 10.0,
"end_sec": 12.0,
"duration_sec": 2.0
},
"framing": "MCU",
"camera_angle": "low_angle",
"lens_mm": 50,
"camera_move": "small_dolly_back",
"lighting": {
"type": "expanding_spotlight",
"behavior": "more torso and arms become visible"
},
"audio": {
"voice": "That..."
},
"action_beat": "The clown steps slightly forward and gestures outward dramatically with both hands as if addressing an invisible audience.",
"dialogue": "That...",
"facs": {
"au_list": [
{
"au": "AU24",
"name": "Lip Pressor",
"intensity_AE": "B",
"evidence": "controlled mouth before next escalation"
},
{
"au": "AU7",
"name": "Lid Tightener",
"intensity_AE": "B",
"evidence": "focused predatory gaze"
}
],
"gaze": "eye_contact",
"blink": "none"
},
"hand_acting": {
"movement": "wide theatrical gesture outward",
"emotion": "performing to the darkness"
},
"performance_note": "This is the most theatrical shot in the sequence."
},
{
"shot_id": "SHOT_07",
"timecode": {
"start_sec": 12.0,
"end_sec": 14.0,
"duration_sec": 2.0
},
"framing": "ECU",
"camera_angle": "front",
"lens_mm": 100,
"camera_move": "push_in_tighter",
"lighting": {
"type": "hard_underlight_mix",
"behavior": "light becomes more aggressive and contrasty"
},
"audio": {
"voice": "...is..."
},
"action_beat": "The smile stretches unnaturally wide. One hand slowly rises beside the blind eye.",
"dialogue": "...is...",
"facs": {
"au_list": [
{
"au": "AU12",
"name": "Lip Corner Puller",
"intensity_AE": "E",
"evidence": "mouth stretched unnaturally wide"
},
{
"au": "AU14",
"name": "Dimpler",
"intensity_AE": "D",
"evidence": "cheeks tighten asymmetrically"
},
{
"au": "AU23",
"name": "Lip Tightener",
"intensity_AE": "D",
"evidence": "lips strained around exposed teeth"
}
],
"gaze": "eye_contact",
"blink": "none"
},
"hand_acting": {
"movement": "hand rises beside blind eye with bent fingers",
"emotion": "demonic presentation"
},
"performance_note": "This is the visual climax of the performance."
},
{
"shot_id": "SHOT_08",
"timecode": {
"start_sec": 14.0,
"end_sec": 15.0,
"duration_sec": 1.0
},
"visual_transition": "hard_cut_to_black",
"framing": "ECU",
"camera_angle": "front_static",
"lens_mm": 100,
"camera_move": "static_hold",
"lighting": {
"type": "single_spotlight_shutdown",
"behavior": "light abruptly shuts off"
},
"audio": {
"voice": "...the question.",
"breath": "slow exhale"
},
"action_beat": "The clown finishes the sentence, holds eye contact for one final second, then the light instantly cuts out back to complete black.",
"dialogue": "...the question.",
"facs": {
"au_list": [
{
"au": "AU7",
"name": "Lid Tightener",
"intensity_AE": "C",
"evidence": "unblinking final stare"
},
{
"au": "AU12",
"name": "Lip Corner Puller",
"intensity_AE": "D",
"evidence": "residual demonic grin"
}
],
"gaze": "eye_contact",
"blink": "none"
},
"hand_acting": {
"movement": "hands lower slowly into darkness",
"emotion": "final release"
},
"performance_note": "The blackout must feel sudden and absolute."
}
],
"seedance_direction": {
"global_prompt": "Single spotlight horror performance in complete darkness. Use the uploaded devil clown turnaround and expression sheet. Maintain the same burned face, blind eye, cracked makeup, red hair and costume across all shots. Prioritize lipsync, theatrical hand gestures, exaggerated facial acting, slow smile escalation, and visible breathing. Lighting should isolate the clown in darkness like a stage performance.",
"negative_prompt": [
"do not add visible environment",
"do not add comedy tone",
"do not make expressions cartoonish",
"do not change character proportions",
"do not break continuity",
"do not add blinking",
"do not soften burned side of face"
]
}
}
}Be or Not Be…
Sicuro di voler cliccare su play?!
Il risultato è davvero ottimo perché si sente un controllo raffinato, non “solo” un buon output, la coerenza tra voce, intenzione attoriale, espressioni e luce regge senza che i vari media si pestino i piedi, e questo è esattamente il punto in un test di lipsync. Seedance, messo nelle condizioni giuste (input puliti, identità del personaggio ben ancorata, progressione emotiva chiara e un linguaggio di camera semplice ma deciso), non si limita a eseguire, interpreta e ti restituisce una performance credibile, con un margine di imprevedibilità che non sporca ma aggiunge tensione. È lì che si capisce che lo strumento è creativo “al top”, non perché fa miracoli, ma perché quando lo guidi bene ti premia con qualcosa che sembra già regia, non soltanto generazione.
Se l’articolo ti è piaciuto restriamo in contatto su linkedin a https://www.linkedin.com/in/andreatonin/
Nerd per passione e per professione da oltre 30 anni, lavoro nel mondo dell’innovazione tecnologica come CTO e consulente, progettando ecosistemi software complessi e scalabili. Parallelamente mi dedico alla formazione informatica, condividendo esperienze e buone pratiche maturate sul campo.
Scopri di più sulla mia attività di consulenza su lucedigitale.com Mi trovi anche su LinkedIn
By
