Um vídeo com meu rosto e minha voz sem me filmar: o que funcionou e o que não

Quando um aluno conquista uma insígnia na jmochon.training, recebe um vídeo meu de parabéns. Não me filmei para isso: ele é feito com IA a partir de quatro fotos minhas. Este é o resultado final (o vídeo está em espanhol; a insígnia se chama «Chroma limpio», um recorte limpo):

Não deu certo de primeira. O interessante não é a ferramenta, e sim por que cada peça falha sozinha e como resolver, porque são falhas que você vai encontrar em qualquer projeto desse tipo. Conto passo a passo: o que fiz, o que falhou, por quê e o que faria se repetisse.

1. A imagem: Kling a partir de fotos reais

O Kling é um gerador de vídeo por IA (da empresa chinesa Kuaishou): você descreve uma cena em texto e, se quiser, fornece imagens de referência, e ele devolve um clipe de alguns segundos. É usado pelo site e funciona com créditos pagos.

O que fiz. Usei a função de referências (Omni-Ref) com quatro fotos minhas: duas sérias e duas sorrindo. Pedi câmera fixa, plano médio curto (do peito para cima) e um fundo verde liso. O fundo verde não é capricho: ele me permite fazer o recorte depois e me colocar em qualquer lugar, que é justamente o que esta insígnia celebra.

O que falhou. Duas coisas pequenas e uma grande. As pequenas: pedi um estalar de dedos e ele me acenou com a mão, e em testes anteriores, ao dizer um número, contava nos dedos. A grande, a voz, fica para o passo 2.

Dica. Escreva no prompt também o que você não quer: pálpebras relaxadas e piscar natural (senão o olhar fica parado), sorriso de lábios fechados e mãos quietas quando o roteiro disser números. E gere um de cada vez: um clipe de 11 segundos em 720p custa cerca de 110 créditos, e cada repetição custa o mesmo.

2. A voz: por que a do Kling não serve

O que falhou. Dei ao Kling minha voz clonada como áudio de referência, esperando que ele a usasse como estava. Ele não faz isso. O Kling volta a locutar o texto do prompt e usa seu áudio só como guia de timbre. Medi isso comparando as duas ondas: elas se parecem muito pouco (uma correlação de 0,2 em 1). O resultado soa como alguém parecido comigo lendo um roteiro: a entonação é plana e as pausas não são as minhas.

O que fiz. Separei as duas coisas: Kling só para a imagem, e a voz sempre minha. Eu a gero com um clone da minha voz que funciona localmente (Voicebox). Fiz seis tomadas do mesmo roteiro, com duas pontuações diferentes, e escolhi uma pela entonação. Descartei uma porque «key» soava como «que».

Dica. No roteiro para a voz, escreva as palavras estrangeiras como se pronunciam. Meu roteiro é em espanhol, então escrevo «Croma» em vez de «Chroma» e «qui» em vez de «key». O clone lê o que vê escrito.

3. Juntar minha voz e a imagem: o caminho que não funcionou

Esta é a parte que mais ensina. Eu tinha uns lábios (os do vídeo do Kling) que se moviam para a locução dele, e uma voz (a minha) com outro ritmo. Este é o resultado de cada tentativa, uma atrás da outra:

Tentativa 1: colocar minha voz por cima, ajustando. Detectei os oito trechos em que o vídeo do Kling fala e estiquei ou encolhi cada frase da minha tomada para durar o mesmo que o trecho, sem mudar o tom. Tecnicamente batia milimetricamente: cada trecho a menos de 30 milésimos de segundo. E mesmo assim dá para notar (é a segunda parte do vídeo acima). O problema não é o tempo, é a forma da boca: os lábios do Kling desenham as sílabas dele, e minhas consoantes não caem onde a boca se fecha. Além disso, qualquer palavra que não estivesse na locução original do Kling (uma tomada começava com um «Oye», «ei» em espanhol) não tem lábios que a digam.

O que funcionou: Lip Sync. O site do Kling tem uma função que faz o contrário: em vez de adaptar a voz à boca, refaz a boca para o seu áudio. Você fornece o clipe e sua voz, e o áudio sai idêntico (correlação de 1 em 1) com a boca reanimada. São 15 créditos e cerca de seis minutos. Um detalhe prático: precisei escolher o clipe nos meus «Assets» do Kling; enviar o mp4 diretamente para o painel não funcionou.

Dica. Se sua voz e sua imagem vêm de lugares diferentes, não tente encaixar a voz na boca: é a boca que tem de seguir a voz.

4. O recorte e a montagem

O que falhou. O primeiro filtro de chroma que testei comeu a camiseta preta: em áreas escuras, um key que mede «quanto esta cor se parece com verde» se confunde com facilidade.

O que fiz. Um key por dominância do verde: para cada pixel, quanto o canal verde supera o vermelho e o azul. O fundo tem um verde muito dominante e some; a camiseta preta não tem verde dominante e fica. Depois, despill: limitar o verde de cada pixel ao maior dos outros dois canais, para tirar a borda esverdeada do cabelo. Por cima, uma correção de cor quente para combinar com o entardecer do fundo (uma imagem também gerada com o Kling) e um fundo desfocado que se desloca bem devagar, para não parecer uma foto colada.

O efeito que dá sentido ao vídeo é mostrar o truque: o verde é varrido bem na hora em que digo «croma limpio», com um pequeno golpe de câmera. O cartão da insígnia, o encerramento e os sons são montados por código (HTML renderizado em vídeo), então o mesmo design serve para todas as insígnias trocando o texto e a voz.

Dica. Faça o key no programa de sempre. É exatamente o que se faz no After Effects com um keyer e um supressor de derramamento, e é o que ensino no módulo de chroma key do curso After Effects 101.

Quanto custa

• Kling: cerca de 110 créditos o clipe de 11 segundos, 4 o fundo e 15 o Lip Sync. Cerca de 130 no total.
• Voz: nada, porque o clone funciona no meu computador.
• Tempo: na primeira vez, uma tarde inteira entre testes e falhas. Com a fórmula já definida, muito menos.
• Reutilização: há um vídeo por insígnia e idioma, e todos os alunos que a conquistam o recebem. O roteiro é genérico de propósito: não cita o nome do aluno.

Se quiser repetir

1. Imagem com Kling: fotos reais, câmera fixa, plano médio curto, fundo verde liso e um prompt com o que você não quer.
2. Voz com seu clone: várias tomadas e escolha pela entonação; palavras estrangeiras escritas como soam.
3. Lip Sync com seu áudio, não o contrário.
4. Key por dominância do verde e despill; corrija a cor para combinar com o fundo.
5. Identifique o resultado como gerado com IA.

Este último não é opcional: desde agosto de 2026 o regulamento europeu de IA obriga a avisar quando um vídeo mostra uma pessoa gerada ou modificada com IA. E mesmo que não obrigasse, é o honesto com quem assiste.

Eu usaria isso para substituir uma aula? Não: uma aula precisa que eu erre ao vivo e reaja ao que acontece. Para uma mensagem curta que chega na hora certa? Sim, e funciona.