Un vídeo con mi cara y mi voz sin grabarme: lo que funcionó y lo que no

Cuando un alumno consigue una insignia en jmochon.training le llega un vídeo mío de felicitación. No me he grabado para hacerlo: está hecho con IA a partir de cuatro fotos mías. Este es el resultado final:

No salió a la primera. Lo interesante no es la herramienta, sino por qué falla cada pieza por separado y cómo se arregla, porque son fallos que te vas a encontrar en cualquier proyecto de este tipo. Os lo cuento paso a paso: qué hice, qué falló, por qué y qué haría si lo repitiera.

1. La imagen: Kling a partir de fotos reales

Kling es un generador de vídeo por IA (de la empresa china Kuaishou): le describes una escena con texto y, si quieres, le das imágenes de referencia, y te devuelve un clip de unos segundos. Se usa desde su web y funciona con créditos de pago.

Qué hice. Usé su función de referencias (Omni-Ref) con cuatro fotos mías: dos serias y dos sonriendo. Le pedí cámara fija, plano medio corto (del pecho hacia arriba) y un fondo verde liso. El fondo verde no es un capricho: me permite recortarme después y llevarme a cualquier sitio, que es justo lo que se celebra en esta insignia.

Qué falló. Dos cosas pequeñas y una grande. Las pequeñas: le pedí un chasquido de dedos y me saludó con la mano, y en pruebas anteriores, al decir un número, contaba con los dedos. La grande, la voz, la cuento en el paso 2.

Consejo. Escribe en el prompt también lo que no quieres: párpados relajados y parpadeo natural (si no, la mirada se queda fija), sonrisa con los labios cerrados y manos quietas cuando el guion diga cifras. Y genera de uno en uno: un clip de 11 segundos en 720p son unos 110 créditos, y cada repetición cuesta lo mismo.

2. La voz: por qué no sirve la que pone Kling

Qué falló. Le di a Kling mi voz clonada como audio de referencia, esperando que la usara tal cual. No lo hace. Kling vuelve a locutar el texto del prompt y usa tu audio solo como guía de timbre. Lo medí comparando las dos ondas: se parecen muy poco (una correlación de 0,2 sobre 1). El resultado suena a alguien que se parece a mí leyendo un guion: la entonación es plana y las pausas no son las mías.

Qué hice. Separar las dos cosas: Kling solo para la imagen y la voz siempre mía. La genero con un clon de mi voz que funciona en local (Voicebox). Hice seis tomas del mismo guion, con dos puntuaciones distintas, y elegí una por entonación. Descarté una porque «key» sonaba «que».

Consejo. En el guion para la voz, escribe las palabras en inglés como se pronuncian: «Croma» en vez de «Chroma», «qui» en vez de «key». El clon lee lo que ve escrito.

3. Juntar mi voz y la imagen: el camino que no funcionó

Aquí está la parte que más enseña. Tenía unos labios (los del vídeo de Kling) que se movían para su locución, y una voz (la mía) con otro ritmo. Este es el resultado de cada intento, uno detrás de otro:

Intento 1: pegar mi voz encima, ajustándola. Detecté los ocho tramos en los que habla el vídeo de Kling y estiré o encogí cada frase de mi toma para que durara lo mismo que su tramo, sin cambiar el tono. Técnicamente cuadraba al milímetro: cada tramo a menos de 30 milésimas. Y aun así se nota (es la segunda parte del vídeo de arriba). El problema no es el tiempo, es la forma de la boca: los labios de Kling dibujan sus sílabas, y mis consonantes no caen donde la boca se cierra. Además, cualquier palabra que no estuviera en la locución original de Kling (en una toma empezaba con un «Oye») no tiene labios que la digan.

Lo que funcionó: Lip Sync. La web de Kling tiene una función que hace lo contrario: en vez de adaptar la voz a la boca, rehace la boca para tu audio. Le das el clip y tu voz, y el audio sale idéntico (correlación de 1 sobre 1) con la boca vuelta a animar. Son 15 créditos y unos seis minutos. Un detalle práctico: el clip lo tuve que elegir desde mis «Assets» de Kling; subiendo el mp4 directamente al panel no funcionó.

Consejo. Si tu voz y tu imagen vienen de sitios distintos, no intentes cuadrar la voz con la boca: es la boca la que tiene que seguir a la voz.

4. El recorte y el montaje

Qué falló. El primer filtro de croma que probé se comía la camiseta negra: en zonas oscuras, un key que mide «cuánto se parece este color al verde» se confunde con facilidad.

Qué hice. Un key por dominancia del verde: para cada píxel, cuánto supera el canal verde al rojo y al azul. El fondo tiene un verde muy dominante y se va; la camiseta negra no tiene verde dominante y se queda. Después, despill: limitar el verde de cada píxel al mayor de los otros dos canales, para quitar el borde verdoso del pelo. Encima, una corrección de color cálida para que case con el atardecer del fondo (una imagen generada también con Kling) y un fondo desenfocado que se desplaza muy despacio, para que no parezca una foto pegada.

El efecto que da sentido al vídeo es enseñar el truco: el verde se barre justo cuando digo «croma limpio», con un pequeño golpe de cámara. La tarjeta de la insignia, el cierre y los sonidos están montados por código (HTML renderizado a vídeo), así que el mismo diseño sirve para todas las insignias cambiando el texto y la voz.

Consejo. Haz el key en tu programa de siempre. Es exactamente lo que se hace en After Effects con un keyer y un supresor de derrame, y es lo que enseño en el módulo de croma del curso de After Effects 101.

Lo que cuesta

• Kling: unos 110 créditos el clip de 11 segundos, 4 el fondo y 15 el Lip Sync. Unos 130 en total.
• Voz: nada, porque el clon funciona en mi ordenador.
• Tiempo: la primera vez, una tarde entera entre pruebas y fallos. Con la fórmula ya fija, mucho menos.
• Reutilización: hay un vídeo por insignia e idioma, y lo reciben todos los alumnos que la consiguen. El guion es genérico a propósito: no nombra al alumno.

Si lo quieres repetir

1. Imagen con Kling: fotos reales, cámara fija, plano medio corto, fondo verde liso y un prompt con lo que no quieres.
2. Voz con tu clon: varias tomas y eliges por entonación; palabras extranjeras escritas como suenan.
3. Lip Sync con tu audio, no al revés.
4. Key por dominancia del verde y despill; corrige el color para casar con el fondo.
5. Etiqueta el resultado como generado con IA.

Esto último no es opcional: desde agosto de 2026 el reglamento europeo de IA obliga a avisar cuando un vídeo muestra a una persona generada o modificada con IA. Y aunque no lo obligara, es lo honesto con quien lo ve.

¿Lo usaría para sustituir una clase? No: una clase necesita que me equivoque en directo y reaccione a lo que pasa. ¿Para un mensaje corto que llega en el momento justo? Sí, y funciona.