Oficina de vídeo com IA

Fala galera, muito boa noite! Obrigado pela presença de todos. Estamos começando mais um workshop do CR_IA, que é mão na massa, como colocamos na descrição. É um pouco além do básico, e a ideia hoje é colocar vocês para criar tanto imagens quanto vídeos, um sprint bem curto, focado em conhecer as ferramentas. Sei que algumas pessoas já estão usando, melhor ainda, assim vocês já conseguem chegar em resultados ainda mais legais.

Temos 1 hora e 45 minutos, vai ser bastante coisa, sei que nem todo mundo vai conseguir ficar o tempo todo. Lembrando que a aula fica gravada, todas as ferramentas ficam listadas para vocês depois pegarem os links. Sempre encorajando todo mundo a deixar mensagens aqui no chat, estou de olho e respondendo dúvidas no meio do processo. Vai ser algo bem interativo, a ideia é dar tempo para todo mundo criar as imagens, os vídeos, e dependendo como as coisas andarem, a gente compartilha. "Olha, fiz isso, fiz aquilo", para termos uma troca e aprendermos juntos, que eu acho muito legal.

Vou projetar minha tela com uma breve introdução sobre o momento atual da IA para vídeo. Toda hora tem atualização nova, tenho que refazer o material o tempo todo porque a competição entre as plataformas é muito intensa. Tenho testado várias e vou mostrar muitos resultados.

Sempre gosto de mostrar um comparativo. Quem já participou de outras aulas deve ter visto como estava a IA de vídeo em 2023: se você escrevesse um prompt para imagens do The Rock comendo pedras, a IA mostrava literalmente isso, totalmente impraticável. Se fechar o olho, até dá para entender, mas de perto é impossível.

Depois, com o lançamento de diversas plataformas, hoje se você fizer um prompt do The Rock, esse é o resultado que temos. Ainda não é perfeito — afinal, não existem muitas referências de pessoas comendo pedra para a IA se basear —, mas não precisa fechar tanto o olho para imaginar que é real. Em grupos que participo, se você enviar isso, as pessoas acreditam que é verdade.

Imaginem como estará isso no próximo ano: teremos atualizações que deixarão na dúvida se o vídeo aconteceu ou não.

Hoje, as principais plataformas de vídeo que a gente tem usado são: Runway, Luma, Krea e Kling. Elas estão em constante competição, e acho que toda semana alguma delas lança alguma atualização — nova funcionalidade ou modelo novo.

O Runway é mais conhecido porque tem feito marketing mais intenso, mas todas são úteis para usar.

Confesso que o Luma hoje está um pouco abaixo comparado às outras. Era a melhor em julho, inclusive eu tenho um vídeo dizendo isso, mas hoje a considero a mais fraca. Além disso, muda toda hora quais são gratuitas, quantos créditos você tem, etc.

A realidade é que temos que usar todas. Quando estou em um projeto, faço varredura por todas elas e me aprofundo nas que trazem o melhor resultado. Quero falar de uma quarta que nem estava nas últimas aulas porque não tínhamos acesso no ocidente, que é o Hailuo AI, ou Minimax. É bem menos conhecida, era restrita à China, precisava de endereço e cartão chinês, igual ao Kling. Hoje está liberada para todo mundo.

Eu diria que essa é a IA de vídeo do momento, está na minha lista para o próximo vídeo porque é gratuita. Você consegue gerar de 5 a 10 vídeos por dia na qualidade máxima sem pagar nada. Vale muito a pena testar, ela está no mesmo nível do Kling. Ela é meio “violenta” nos movimentos, faz movimentos mais bruscos, fica um pouco acelerada, mas dependendo do que você imprima, entrega muito bem.

Basicamente hoje conseguimos fazer tudo com vídeo. Esse é um vídeo compilado do Runway, mostrando que dá para ter qualquer tipo de estética. Às vezes vemos muitas imagens realistas, mas uma das coisas mais legais da IA são esses visuais que vão para o lúdico, 3D, animação, com muitas possibilidades.

Quando falamos de IA para vídeo, temos três técnicas básicas: texto para vídeo, image to vídeo e vídeo to vídeo. Hoje vamos explorar muito mais o image to vídeo, onde temos mais controle.

O texto para vídeo é quando você coloca um prompt de texto, como para gerar imagem ou texto no ChatGPT, e sai um vídeo a partir daí.

O vídeo to vídeo é quando você coloca um vídeo e modifica ele. Está começando a ganhar tração agora.

Um dos vídeos mais viralizados dessa técnica é um do Kling, montagens antigas de celebridades se abraçando (imagens com cerca de 10 anos). O prompt “as duas pessoas se abraçando” gerou resultados simples, mas efetivos, apesar de precisar testar alguns até conseguir a cena ideal.

Outros exemplos de trabalhos que já fiz com IA para vídeo são feitos com o Luma, como criar imagens, ter controle do que queremos, e animar essas imagens. Por exemplo, fiz quatro imagens para a capa de um disco de uma banda de amigos e um trechinho de videoclipe.

Hoje dá para gerar resultados muito legais até sem usar ferramentas avançadas. Aqui outro exemplo com o Luma: criei imagens e variações para sugerir que era a mesma pessoa, e com edição de cor e rampas, cheguei a um resultado legal. O movimento dessas imagens e a estética de “photoshopado” deixam claro que não tento imitar realidade, mas algo estilizado.

Outra técnica que usamos bastante é pegar imagens estáticas e gerar animações. Por exemplo, em um vídeo viral, usei print screen do vídeo, apliquei efeitos de animação com prompt, e gera uma outra estética, partindo de imagem real. Isso é uma das coisas mais legais, porque parte de uma imagem real e produz resultados incríveis.

90% dessas imagens foram feitas no Kling na versão Pro. Mas estamos aqui para criar, então hoje todo mundo está convidado e desafiado a usar as ferramentas e criar comigo. Preparei um workflow simples para criação de vídeo via IA a partir de imagem.

Quem trabalha com criação publicitária sabe que isso é básico para audiovisual, mas quem está começando com IA pode não ter esse background. Decupamos passos básicos: concept roteiro (definir ideia e conceito), estrutura narrativa, roteiro, storyboard. Hoje focaremos mais no concept roteiro e storyboard.

Depois passa para a criação das imagens, que é materializar o storyboard. Storyboard pode ser qualquer referência que dê uma ideia do tipo de imagem desejada, não precisa ser feito por ilustrador. Nessa etapa definimos estilo gráfico: 2D, 3D, realista, conceitual, literal. Vamos falar de criação de personagem, que considero divertido e muito fácil hoje.

Depois vem a criação das imagens, e o pós-processamento: editar, melhorar qualidade, crop, cor, efeitos, para ter mais consistência antes de partir para vídeo. Isso dá para fazer muito, principalmente se você tem conhecimento em softwares como Photoshop.

A terceira etapa é criar os vídeos, gerar as cenas, edição e melhoria de qualidade. Hoje temos opções para melhorar resolução do vídeo, fazer slow motion, reverso, etc. Reverso é algo que usei bastante; às vezes a cena não fica boa de ida, mas fica boa na volta.

Outro ponto importante: na criação desses vídeos com IA, não geramos um vídeo contínuo, e sim cenas que compõem o vídeo. É como filmar em câmera real: capta-se vários takes e se edita só o melhor. Muitas vezes você pega o meio da cena, o final, faz reverso, corta o que estiver ruim.

Eu raramente uso cenas inteiras, prefiro fragmentos para edição. Boa edição tem insertos e B-rolls: cenas pequenas, texturas, closes, planos abertos e fechados. Assim, para um vídeo de 20-30 segundos, gero 100-200 cenas para selecionar depois.

Quem filma sabe que isso é padrão. Então, segue a lógica para trabalhar com IA para vídeo. Por fim, a edição final: trilha sonora, montagem, efeitos, finalização. Hoje não entraremos em edição a fundo, só geraremos os materiais.

Quem gostar e quiser enviar os resultados para a gente, adoraria editar e publicar no CR_IA como experimento conjunto. Esse é um grande experimento para vermos o que conseguimos criar juntos.

Dúvidas até aqui? Fala Francisco.

Boa, deu uma tranquila. Beleza, vão mandando aí.

Vamos lá, concept roteiro. Como temos pouco tempo e foco é na execução, tomei liberdade de conceber uma ideia para trabalharmos em conjunto. Isso evita confusão sobre qual vídeo fazer e ajuda a direcionar o processo.

Vamos conhecer a criatura. Temos um bot no CR_IA chamado “criatura”. Ele não tem uma cara definida, então vamos dar uma face para essa criatura, desafiar todo mundo a criar um personagem que materializa nossa plataforma hoje. Sei que parece conflito de interesse usar vocês para conceber nosso personagem, mas é um jeito legal de exercitar, temos um guideline estético.

Hoje vamos criar nossa criatura, um personagem que ganhará vida nos vídeos, e testar todas as plataformas que vou apresentar.

Fiz dever de casa: criei várias criaturas antes da aula para testar ferramentas. Aqui estão alguns exemplos com diferentes formas. Vou explicar um pouco do processo.

Alguém tem Midjourney aqui? Quem tiver, pode usar, mas trouxe duas IAs gratuitas que todos poderão utilizar para gerar de 20 a 30 imagens. Nem todas as imagens foram feitas no Midjourney, usei outras ferramentas.

Referência: vídeos de apresentação de personagens. Todo mundo conhece a cena do Esquadrão Suicida (filme péssimo), mas com excelente introdução de personagens com closes e nomezinho. Quero que tenham essa referência na cabeça.

Outra referência: filme fantástico com multiverso e cortes de várias versões da mesma personagem.

Imagine que damos um briefing aberto da criatura e cada um traz sua visão; juntamos tudo e temos um multiverso das criaturas. Dá um vídeo legal para publicar, o mais importante hoje é testar.

Já fiz isso algumas vezes, vou compartilhar outros projetos para mostrar a vastidão da criação de personagem com IA. Aqui, criei personagens para a Garage Unilever no Hacktown. Fiz personagens com estética alienígena, escolhi um e o transformei em vídeo para apresentação de música. Qualidade não estava ótima, mas resultado legal.

Semana passada, no SGB (Social Good Brasil), criei mascotes e um vídeo legal para o evento. Também uma apresentação para a Creators LLC, com personagem andando na rua e variações de câmera, gerado a partir de uma única imagem.

Isso é legal porque com uma única imagem gerei vários prompts com ângulos diferentes que levaram a esse resultado.

Voltando à nossa criatura: aí estão inspirações distintas, de realista a sci-fi, robótico a alienígena. A ideia é brincar com essas criações possíveis. Uso IA para me ajudar a conceber personagens.

Hoje vamos usar o ChatGPT, com um prompt simples, acessível até para quem não tem versão paga.

Nosso primeiro sprint: criar um personagem com esse direcionamento.

Vou passar o prompt para vocês:

Precisamos conceber a criatura, o personagem que será a materialização do CR_IA, plataforma de inteligência artificial. A criatura deve materializar a essência da plataforma, conectando tecnologia e futuro, com traços humanos e muito carisma.

Deve transmitir inovação, criatividade e produtividade, mantendo o visual alinhado à identidade da plataforma, que usa materiais abstratos, tecnológicos e orgânicos, evitando desenhos clichês e literais. Use a paleta de cores verde, menta e roxo.

Conceba cinco personagens. Um ponto de partida: figuras que remetam a alienígena, descolado ou robô orgânico. Os demais podem seguir outras ideias que se encaixem no direcionamento.

Gostaria que trocassem essa parte para personalizar. Pirarem nas ideias para a criatura, pois copiando o prompt igual, o resultado será muito parecido.

Dúvidas?

Vou fazer o exercício aqui no chat para mostrar.

Por exemplo, apareceu: “Android orgânico futurista” – humanoide com traços suaves e amigáveis. O Rafa fez o “Simps Nexus”, um gato Sphinx futurista. Outro exemplo: Bulk RetroSoft, entidade de luz.

Conceitos e inspirações variados. O ChatGPT é tipo um diretor de criação para ajudar a refinar as ideias. Pedi para ele gerar três variações de prompt com até 300 caracteres para manter simplicidade e foco. Usei esses prompts para gerar os personagens que apresentei no começo.

Depois dei feedbacks como: “fundo azul muito morto”, “quero imagem low-poly para combinar com personagem”, etc. Ele gerou uma imagem compatível. Também criei prompt em inglês para o Midjourney, pedindo personagens carismáticos com estética 3D estilo Pixar, mas sem rigor: podia ser algo bélico, fofo, orgânico.

Frase curta para facilitar o prompt. Usei esses prompts para criar variações e onde personagens poderiam “viver”.

Esse processo com IA é muito legal, permite criar documentos e evoluir os conceitos.

Duplicava o personagem, fazia imagem do ambiente, unia os prompts para igualar cenário com personagem. Isso serve para vocês também.

Agora: cinco minutos para vocês abrirem o chat GPT, colarem o prompt acima para gerar personagens e pedir três variações de prompt para uso em IA de imagem.

Vamos focar nesses cinco minutos, depois partimos para criar imagens.

Dúvidas?

Tá na mão, galera?

Exemplo simples: coloquei a imagem do personagem no ChatGPT e pedi prompt em inglês para o Kling, onde o ET vira e sorri para a câmera. Resultado simples e funcional.

Alguma dúvida ou compartilhamento de link?

Usaram Midjourney e Runway? Teve algumas bizarrices, é normal. Vocês criaram muitos personagens hoje, ótimo! Quem quiser conversar sobre variações no Midjourney, posso explicar.

Por exemplo, para manter coerência numa história em quadrinhos com IA, dá para usar imagens como referência (control net) para refinar o personagem. Mesmo com variações, mantém similaridade para narrativas sequenciais. Isso vai evoluir muito próximo mês.

No Midjourney, se colocarem o código que uso no final do prompt, geram imagens parecidas com as minhas, em estilos minimalistas e sci-fi.

Quem usa ou quiser testar, basta adicionar o código específico no final.

Falando das IAs gratuitas para criar imagens:

• Midjourney não é mais gratuito (testei e estava animado, mas o free acabou). Quem tem, usa mais variações.
• Trago duas alternativas gratuitas:
  • Krea, que usa o modelo Flux (responsável por imagens realistas que vocês viram, incluindo pessoas famosas). O Flux é grátis no Krea, embora com algumas limitações.
  • Leonardo AI, muito conhecido, roda vários modelos, permitindo presets para diversas estéticas (cinemática, concept art, minimalista). Ele tem funcionalidade pra escolher tamanho, priorizar qualidade (pago), etc.

Na home do Leonardo você escolhe a criação de imagem, pode usar presets como Phoenix (novo e mais caro), Cinematic Kino (cinemático), entre outros. O Leonardo é ideal para quem não tem tanto conhecimento em imagem, porque já facilita visuais pré-definidos.

Infelizmente, não tenho créditos para gerar exemplos ao vivo, mas já usei bastante. Aqui temos imagens low poly, de personagens que transformam formas. Basicamente, usam modelos múltiplos, por isso tem tanta variedade.

No Krea você pode criar usando Flux 1.1, o modelo mais avançado. Vai um tutorial rápido: coloca seu prompt, escolhe resolução (dois por três para vertical), e gera. Pode adicionar estilos específicos, subindo imagem para referência, ou ajustar intensidade do estilo (mais ou menos “forçado”), para equilibrar a estética e seu comando.

Ou seja, boa flexibilidade. Vocês devem testar essas duas IAs (Krea e Leonardo) para ver qual preferem. Krea está se tornando marketplace para IAs, tem modelos de vídeo também (Haluyo, Luma, Runway, Kling Standard e Pro, Pica). Tenho testado e acho que posso migrar para usar só o Krea no futuro.

Funcionam bem e são fáceis de acesso. Se quiserem, posso mandar links para cadastro. Se não gosta do resultado, pode modificar o prompt e tentar de novo. Também pode subir imagens para usar estilos diferentes.

Dúvidas sobre isso?

Vamos ter 20 minutos para vocês rodarem pelo menos três tentativas em cada IA com prompts diferentes. Queimem créditos, não economizem. Eles geram uma imagem por vez, então revezem entre Krea e Leonardo. Testem variações, se o resultado não está legal, mudem o prompt.

Fiquem dentro da paleta de cores para consistência. Depois, escolham o personagem favorito para trabalhar e criar a cena de cenário. Quer saber como criar cenário?

Pode escrever livremente no chat GPT, baseado nas informações do personagem. Ele vai retornar uma descrição conectada para usar em IA de imagem. Vou mostrar um truque para misturar prompt de personagem com cenário. Exemplo: criei personagem com prompt da criatura, criei cenário com outro prompt, e misturei os dois resultados para equalizar imagem e personagem.

Essa mistura pode ser alternativa para vocês.

Bora, 20 minutos. Obrigado, Yasmin.

Quem terminar pode compartilhar aqui. Vocês podem mostrar. Depois explico o que fiz. Depois de gerar os prompts com ChatGPT para meu personagem, usei o Krea com Flux para criar imagens.

Gerou versões incluindo alien minimalista com drones, amigável, minimalista 3D, ou até tipo nave.

Eu pedi para ChatGPT fazer variações mais tecnológicas e divertidas. Alterei o prompt para favorecer visual mais fashionista e depois mais simpático, estilo Pixar.

Os resultados mudaram conforme o direcionamento. No Midjourney as mesmas frases geram imagens completamente diferentes, com estilos variados. Para imagens, não existe melhor ou pior, são estilos diferentes.

O estilo minimalista sci-fi do meu código tem funcionado muito bem. Quem quiser testar, basta colocar "–P <meu código>" no final do prompt. Já gerei mais de 30 mil imagens no Midjourney e categorizei para criar workflow profissional.

Quem usa Midjourney sabe. Se alguém quiser compartilhar resultados, pode mandar.

Podemos partir para vídeo agora?

Lembrando que a aula fica gravada na área de membros, e todos os prompts ficam disponíveis lá para consulta. Não precisam anotar tudo. Agora que temos personagens, vamos para criação de vídeos: cenas, edição, melhoria de qualidade. Quando trabalhar com vídeo, prepare-se para passar um pouco de nervoso.

Ou dá certo, ou dá errado. Raramente tem meio termo. Geralmente você precisa gerar muitas versões.

Tem várias técnicas e vou passar a básica. Você também pode usar agentes do chat GPT para ajudar a montar prompts de vídeo, com scripts específicos para cada IA. Quem usa chat GPT paga? Legal.

Para pagantes, e acho que liberado para todos hoje, usar agentes GPT é muito bom. Você pode escolher uma IA para vídeo — Kling, Luma, Runway — e pedir para o agente te ajudar a criar um prompt estruturado.

Não garante 100% sucesso, mas ajuda bastante.

Prompt de vídeo básico tem estrutura simples: tipo de câmera, descrição da cena, movimento esperado. Exemplo: "Um extraterrestre segurando um livro (descrição da cena), vira para a câmera e dá um soco na lente (movimento)". Tipo de câmera: tripé, orbital (câmera girando). No vídeo da menina dançando em Cyberpunk, era um orbital shot.

Essa estrutura ajuda. Hoje vamos usar Runway, Kling e Hailuo IA (Minimax). O Hailuo é a IA da moda agora, por ser gratuita.

Dica: Muitos vídeos com comentários negativos por pessoas que caem nos sites errados. Quando procuram pelo Kling ou Haluio no Google ou lojas de app, aparecem apps falsos. Sempre garantam que estão no site oficial, que está listado nas ferramentas do CR_IA.

Exercício: rodar pelo menos quatro tentativas nas três IAs, escolher três cenas para o personagem, incluindo cena do cenário se fizeram, gerar e editar rápido.

Runway é multifuncional, faz recorte de imagem, tracking, slow motion, várias coisas. Na criação circula entre modelos alpha e turbo (turbo consome menos créditos, mas não é melhor; alpha é o top). Eu sempre testo sem prompt primeiro, só coloco a imagem para ver o comportamento. Você pode criar com frames diferentes, colocando dois primeiros frames para animação de transição.

No Hailuo, você descreve o prompt e ele gera o vídeo.

O Kling às vezes demora, por isso usamos três IAs para ter alternativa.

No Runway tem 120 créditos, usando a versão turbo dá para criar uns 8-10 vídeos nesse tempo. Fiz alguns testes, meu bonequinho ficou tipo brinquedo com brilho novo. Versão gratuita do Runway só deixa usar a versão standard.

Fiquem à vontade para usar outras IAs de imagem. Vinte minutos, rodem as IAs, não estranhem se empacar. Rode uma sem prompt para ver o que sai, depois escreva prompt mais elaborado. Funciona em português, mas geralmente dá melhor em inglês.

Se tiver dúvida, mostre a imagem no ChatGPT, peça para ele ajudar com prompt. Exemplo prático simples: coloquei imagem do personagem no ChatGPT e pedi prompt em inglês para Kling, “o ET vira e sorri para a câmera”. Ele fez um prompt bem estruturado e simples: “The alien turns its head slowly and smiles warmly at the camera, its large eyes glinting with friendly expression.”

Legal demais!

Alguém quer compartilhar mais?

Rafa criou um gato Sphinx no Craft. Gil mandou personagens dançando. Tem alguns bugs nos links do Hailuo. Levando em conta resultados, Minimax é sutil, desatura um pouco a cor.

Kling gera muitos vídeos, tem limitações de transição, trava em certos movimentos, mas com paciência melhora. Vídeos geralmente precisam de 20, 30 tentativas até resultados bons. Personagens frontais são mais fáceis de animar do que de perfil, porque a IA não sabe como criar a frente do personagem.

Raramente uso um take inteiro, prefiro vários pedaços para edição.

Enfim, chegamos ao fim dessa etapa do workshop. Essa é a primeira vez que faço um workshop prático assim. É experimental, prometo melhorar.

O trabalho com IA é muito tentativa e erro. Quando vocês repetirem as vezes, já vão partir do fluxo criado hoje. Testem muito, entendam o tempo, bugs e limites da IA para vídeo.

É uma “caixinha de surpresa”, mas gerar imagens ajuda a reduzir isso. Quero fazer esses encontros todo mês para exercitar com briefings e criar em conjunto.

Convido todos que quiserem compartilhar resultados, mandem por e-mail para Yasmin, ou pelo Discord. Eu também estou no Instagram sempre vendo DMs. Quem quiser mandar vídeos, edições, será um prazer.

Vamos observar o progresso, que será impressionante. Obrigado por hoje, vejo vocês na semana que vem.

Valeu, um abraço! Tchau, tchau.