LoRA: Criando imagens suas com IA

Live gravada em:

Você vai aprender a criar modelos personalizados de IA que geram imagens e vídeos com suas características únicas por meio da técnica de Low-Rank Adaptation (LoRA). A aula mostra como reunir um conjunto diversificado de fotos para treinar o modelo, escolher as melhores plataformas e gerar imagens realistas aplicando estilos variados. Além disso, explora dicas práticas para garantir qualidade e consistência no resultado final.

Atualizações da aula:

O que é LoRA?

LoRA significa Low-Rank Adaptation, uma técnica que faz fine-tune em modelos de IA existentes para personalizá-los a partir de um conjunto de imagens, produzindo resultados mais específicos e realistas. As principais ferramentas para treinar modelos LoRA são o Krea, Freepik e Higgsfield, com destaque para o Krea One pelo seu modelo proprietário que favorece imagens de alta qualidade.

Criando o seu LoRA

É fundamental reunir 30 a 50 fotos suas em diferentes situações, ângulos e condições de iluminação para que o modelo capture a variedade das suas características. Evite usar apenas imagens com a mesma iluminação para garantir que o modelo funcione bem em diferentes cenários visuais. No Krea, é possível configurar o número de steps para ajustar a qualidade do treinamento conforme o orçamento. Use o modo mais completo para resultados profissionais e nomeie seu modelo para identificá-lo facilmente Após o modelo estar treinado, você pode criar imagens usando prompts que incorporam seu personagem. É possível ajustar a força do modelo e combinar com estilos visuais (fotografia, ilustração) para obter resultados variados, como no Midjourney com Style Reference.

Dicas práticas

Utilize diversidade de luz e poses nas fotos para evitar limitações do modelo.
Escolha um estilo visual consistente, evitando misturar imagens muito diferentes (ex: barba vs. sem barba).
Tire prints de vídeos para coletar mais referências e ângulos.
Gere várias versões das imagens e selecione as melhores.

Hora de CR_IAR!

Reúna pelo menos 30 fotos suas com diferentes iluminações, ângulos e expressões. Treine um modelo LoRA em uma plataforma como o Krea. Depois, gere 5 imagens aplicando estilos variados e escolha a melhor, analisando como a diversidade das imagens de treino influenciou o resultado. Não deixe de compartilhar o resultado com a gente na seção de alunos e nas suas redes sociais, marcando o @cr_ia.pro!

Transcrição da Aula

Bora aprender a criar imagens e vídeos com o seu rosto com bastante qualidade, consistência? Esquece o ChatGPT para isso. Vamos criar LoRAs, que é a sigla para Low Rank Adaptation, basicamente um fine tune, ou seja, um treinamento de um modelo de IA existente. A ideia é pegar, por exemplo, o Flux, que é um gerador de imagem open source, e fazer um treinamento com diversas imagens suas. Não é com uma, duas ou três, estamos falando de dezenas para que a IA aprenda como você é e, a partir desse momento, crie imagens que tenham suas características, em vez de gerar uma pessoa genérica.

Esse tipo de técnica serve para tudo, não só para pessoas. Podemos fazer de objeto, de carro, tudo que a gente consiga ter imagens para explicar para a IA como funciona, e depois criar uma tag que identifica que você está utilizando isso. Funciona, mas nosso foco aqui é criar imagens humanas para que você tenha uma IA sua, capaz de criar suas fotos e vídeos.

Se você me acompanha nas redes sociais, com certeza já deve ter visto algum vídeo meu onde utilizo LoRAs. Eu tenho mostrado essa técnica desde que ela se tornou disponível para todo mundo. Eu acho uma loucura o quão rápido ela está evoluindo. Todas essas imagens e vídeos que você vê aqui foram criados com a plataforma que eu vou te ensinar. Dá para chegar nesse resultado sem muita dificuldade, é só caprichar no treinamento com as técnicas e dicas que vou passar.

Tem gente que tem curso só disso, vende workshop de 6 horas, mas gente, é simples. O segredo está em ter um bom treinamento e depois, claro, gerar bons prompts para criar essas imagens, que nada mais são do que criar qualquer tipo de imagem de qualidade. Temos várias aulas aqui de engenharia de prompts, prompting e outras plataformas, e basicamente tudo que você usa para gerar imagem no ChatGPT, no Visual Electric, no Midjourney, você vai usar aqui. Só que vai ser feito com o seu rosto.

Bora aprender e entender quais plataformas possibilitam a criação dos LoRAs. Essas são as três principais: Krea, Freepik e Higgsfield. Tem diversas outras no Huggingface, como Fall etc., mas eu acho que essas três entregam a mesma qualidade, só que são muito mais fáceis de usar, treinar e de entender quanto você está gastando para fazer. Porque essas plataformas podem ser usadas para outras coisas, você não vai assinar elas só para isso, têm várias funções. Inclusive, tem uma aula introdutória geral aqui do Krea, que está mais focada em efeitos especiais e nos presets. Eu uso as três, mas eu recomendo que, se precisar escolher uma, opte pelo Krea por conta do modelo Krea One que ele tem, exclusivo, que faz com que você consiga gerar imagens com seus LoRAs de melhor qualidade. Então, bora fazer o tutorial com ele.

Aqui na home do Krea, você vai rolar até encontrar o botão Train. Clicando em Open, ele já vai te dar a opção de treinar para um desses modelos. Você pode exportar facilmente para qualquer um desses depois, de um para outro. Estamos na home do Krea, rolando um pouco, e você vai ver esse botão Train. Clicando em Open, ele mostra as opções de quais modelos você pode usar para o treinamento.

Krea One, que é o modelo proprietário deles.
Flux, modelo open source utilizado pela maioria das plataformas.
Também o Huggingface, vídeo que é o One 2.1, que também é open source.
Flux real-time.

Aqui vamos fazer o do Krea, mas depois é fácil exportar o mesmo treinamento para os demais.

Eu já tenho alguns modelos treinados e, clicando em Train Image, você deve subir no mínimo 3 imagens e no máximo 50. Eu recomendo que você suba as 50. Aqui vem a parte mais importante, onde a maioria das pessoas falha em ter um modelo de qualidade. Eu já fiz isso a primeira vez e pensei: “Vou subir umas 20 imagens, pegar uma luz muito boa aqui de casa e fazer várias imagens minhas em diversos ângulos com essa excelente luz e vai ficar muito bom.” Errado.

A IA precisa de informações de luzes diferentes. Se você fizer tudo com a mesma luz, por melhor que seja, a IA vai ter dificuldade de replicar sua imagem em uma luz muito diferente. Por exemplo, se você fizer numa luz de estúdio perfeita, aquela luz de beleza profissional, quando pedir uma imagem que seja de noite, debaixo d'água ou no meio de um ambiente maluco, a IA não terá tantas informações.

Ela terá ótimas informações do seu rosto, mas terá menos informações sobre a iluminação. Então a ideia é que, entre essas 50 imagens, você tenha o máximo de diversidade possível de luz e de posicionamento. Vou subir aqui as minhas só para a gente ter uma noção. Tente usar as 50 imagens em situações diferentes. Tire algumas boas que você tem, pegue fotos de ensaio, vá num lugar com uma luz pior, faça fotos de diversos ângulos. Tudo isso ajuda.

Uma coisa importante é tentar escolher um estilo visual seu. Por exemplo, se você já teve várias cores de cabelo ou já esteve com barba ou sem barba, se você subir várias imagens com estilos diferentes, obviamente a IA terá mais dificuldade de replicar o seu estilo atual. No meu caso, há bastante tempo, eu tenho esse mesmo estilo, então não tenho esse problema.

Olha aqui as diferentes imagens que eu coloquei, mostrando as cenas variadas: algumas com luz melhor, outras com touca, cabelo normal, luz boa, luz ruim, clara, escura, luz de estúdio, fiz diversas expressões faciais. Isso porque percebi que a IA tinha dificuldade de me fazer com a boca aberta ou sorrindo, pois eu não tinha muitas fotos assim. Até print de vídeos eu tirei para pegar ângulos diferentes, pegando bastante imagem lateral. Se você tem algum detalhe, a IA vai conseguir fazer um bom treinamento para você.

Aqui botei as 50 imagens, e ele vai te mostrar a resolução também. Claro que essas imagens precisam estar em boa resolução. Na configuração, você pode selecionar personagem, ou se for objeto, colocar objeto, e também pode fazer treinamento de estilo de foto. Isso é legal para fotógrafos, designers ou ilustradores. Aqui você define a quantidade de steps que quer para seu treinamento. Isso está ligado ao custo — se quiser o treinamento mais profissional, marca 500 steps. Ele vai consumir bastante dos seus créditos, mas para uso profissional, recomendo essa opção.

Você colocará o nome do seu treinamento. Eu não vou fazer aqui porque já fiz e não quero gastar meus créditos. Aqui está o meu treinamento, que refiz depois de três semanas. Também tenho outro da Vic. Todos os conteúdos que você viu em meus últimos seis meses foram feitos usando essa plataforma. Agora que já temos nosso modelo criado, bora fazer as imagens. Clicando no ícone Image, você tem uma interface padrão, com espaço para colocar seu prompt. Vamos colocar um aqui. Quanto melhor o prompt, melhor será a imagem.

Você escolhe seu modelo; há vários modelos de imagem no Krea, mas os únicos que aceitam LoRAs por enquanto são o Krea One e o Flux. Eu prefiro o Krea One, baseado no Flux, mas que está melhor. Em Style, selecione Private e o seu modelo treinado. Aqui você ajusta a força do seu modelo — recomendo deixar em 90 ou mais. Você pode selecionar para criar em 4K, só o Krea One tem isso, e escolher o formato da imagem.

Vamos gerar. É impressionante o quão rápido o Krea gera as imagens. Olha só, isso não foi acelerado, estou falando e pronto, já está aqui a imagem — eu no meio dos três tigres. Eu sempre acho que fica bem legal. Como o Krea é rápido e barato, você pode gerar várias versões e escolher a que faz mais sentido.

Outra coisa legal do Krea é a possibilidade de misturar estilos. Tem um estilo que é o LoRA (o treinamento da pessoa), mas você pode escolher um estilo de fotografia do Krea, um estilo de ilustração — esses estilos são semelhantes ao Style Reference do Midjourney, onde essa imagem vai influenciar o visual do resultado. Testar diferentes formatos é uma boa prática. Por exemplo, vou selecionar um estilo de retrato, adicionar o estilo, deixar meu modelo 100%, e colocar um prompt simples para testar.

Olha só, ele aplicou o estilo e eu não precisei explicar isso no prompt. Você pode usar diversos estilos desse jeito. Vou rodar alguns só para a gente testar e ver o que acontece. Ficou meio esquisito, mas deu para entender a ideia de utilizar esses estilos. Você pode inclusive criar seu próprio estilo. Com um bom prompt e um bom treinamento, seguindo as dicas que passei, tenho certeza que você vai chegar em bons resultados.

E era isso que eu tinha para hoje. Lembrando que todos os links e prompts utilizados estão sempre nas descrições das aulas. Qualquer dúvida, manda lá no Discord ou me envia uma DM.

Valeu!

LoRA: Criando imagens suas com IA