AnimateDiffTexto para vídeo fácil com AnimateDiff
O AnimateDiff permite criar vídeos facilmente com Stable Diffusion. Basta escrever um prompt, selecionar um modelo e ativar o AnimateDiff!
AnimateDiff é um recurso educacional e uma demonstração online do módulo de movimento de código aberto AnimateDiff. Não é afiliado aos autores do artigo original do AnimateDiff nem à Stability AI.
Veja o que o AnimateDiff cria
Como o gerador cria clipes curtos
Geração de texto para vídeo
Com o AnimateDiff, você pode fornecer um prompt de texto descrevendo uma cena, personagem ou conceito, e ele gerará um clipe curto animando essa descrição. Isso permite criar animações conceituais ou visualizações de histórias diretamente do texto.
Geração de imagem para vídeo
O AnimateDiff oferece suporte à geração de imagem para vídeo, onde você fornece uma imagem estática, e ele a anima adicionando movimento com base nos priors de movimento aprendidos. Isso pode dar vida a imagens fixas ou obras de arte.
Animações em loop
Além de clipes curtos, o AnimateDiff pode gerar animações em loop perfeitas a partir de entradas de texto ou imagem. Elas podem ser usadas como planos de fundo animados, protetores de tela ou obras de arte animadas criativas.
Edição/manipulação de vídeo
A implementação video2video do AnimateDiff utiliza o ControlNet para permitir a edição de vídeos existentes por meio de prompts de texto. Você poderia remover, adicionar ou manipular elementos em um vídeo guiados por suas descrições de texto.
Animações personalizadas
Combinado com técnicas como DreamBooth ou LoRA, o AnimateDiff permite animar sujeitos, personagens ou objetos personalizados treinados em imagens/conjuntos de dados específicos.
Fluxos de trabalho criativos
Artistas e criadores podem integrar o AnimateDiff em seus fluxos de trabalho criativos, usando-o para visualizar rapidamente conceitos animados, storyboards ou animatics a partir de entradas de texto e imagem durante a fase de ideação.
Embora não seja uma ferramenta completa de edição de vídeo, o AnimateDiff oferece uma forma única de gerar novo conteúdo de vídeo a partir de entradas de texto e imagem, aproveitando o poder dos modelos de difusão e dos priors de movimento aprendidos. Suas saídas podem ser usadas como ponto de partida para mais edição e pós-processamento de vídeo.
AnimateDiff: um criador de texto para vídeo que traz movimento aos modelos de difusão
O AnimateDiff permite a geração de texto para vídeo, deixando você criar clipes curtos ou animações diretamente de prompts de texto. Veja como o processo funciona:
Prompt de texto: Você fornece uma descrição de texto da cena, personagens, ações ou conceitos que deseja ver animados.
Modelo base de texto para imagem: O AnimateDiff utiliza um modelo de difusão de texto para imagem pré-treinado como o Stable Diffusion como espinha dorsal para gerar os quadros de imagem iniciais com base no seu prompt de texto. O modelo base controla o estilo, a identidade do personagem e o detalhe do sujeito; use modelos checkpoint como ToonYou ou Realistic Vision antes de aplicar o módulo.
Módulo de movimento: No núcleo do AnimateDiff há um módulo de movimento treinado em vídeos do mundo real para aprender padrões gerais de movimento e dinâmica. Este módulo é independente do modelo de difusão base.
Animando quadros: O AnimateDiff combina o modelo de difusão base e o módulo de movimento. Primeiro gera quadros-chave a partir do seu prompt de texto usando o modelo de difusão. Em seguida, o módulo interpola quadros intermediários entre essas chaves, aplicando os priors de movimento aprendidos para animar a cena.
Saída de vídeo: A saída resultante é um clipe curto retratando os conceitos descritos no seu prompt de texto, com os elementos animados exibindo movimento natural aprendido de vídeos reais.
Algumas vantagens importantes do AnimateDiff para geração de texto para vídeo são
Pode animar qualquer modelo de texto para imagem sem retreinamento ou ajuste extensivo específico para vídeo.
Você pode guiar a animação por meio do prompt de texto descrevendo ações, movimentos de câmera etc.
Mais rápido do que treinar modelos monolíticos de texto para vídeo do zero.
No entanto, as animações nem sempre são perfeitas e podem apresentar artefatos, especialmente em movimentos complexos. Mas o AnimateDiff oferece uma forma poderosa de visualizar diretamente descrições de texto como animações, aproveitando modelos de difusão pré-treinados.
AnimateDiff: um criador de imagem para vídeo que dá vida aos visuais estáticos
O AnimateDiff também pode ser usado para geração de imagem para vídeo, deixando você animar imagens estáticas existentes adicionando movimento e dinâmica. Veja como funciona:
Imagem de entrada: Você fornece uma imagem estática que deseja animar. Pode ser uma fotografia, uma obra de arte digital ou uma saída de modelo de difusão.
Modelo base de imagem para imagem: O AnimateDiff utiliza um modelo de difusão de imagem para imagem pré-treinado como a capacidade img2img do Stable Diffusion como espinha dorsal.
Módulo de movimento: O mesmo módulo de movimento treinado em vídeos do mundo real para aprender padrões gerais de movimento é usado.
Animando a partir da entrada: O AnimateDiff pega a imagem de entrada e usa o modelo de difusão de imagem para imagem para gerar leves variações que servem como quadros-chave.
Aplicando movimento: O módulo de movimento então interpola quadros intermediários entre esses quadros-chave, aplicando a dinâmica de animação aprendida para animar os elementos da imagem de entrada.
Saída de vídeo: O resultado final é um clipe de vídeo onde a imagem estática original ganhou vida com movimento e animação naturais.
Algumas vantagens importantes do AnimateDiff para geração de imagem para vídeo são:
Embora não seja tão controlável quanto o caso de texto para vídeo, a imagem para vídeo com o AnimateDiff oferece uma forma fácil de adicionar dinâmica a imagens fixas existentes, aproveitando o poder dos modelos de difusão e dos priors de movimento aprendidos.
Funciona com seus estilos favoritos
Estes são apenas estilos de exemplo — o AnimateDiff não é uma ferramenta de visual único. Ele traz movimento às estéticas distintas dos seus modelos Stable Diffusion preferidos.
o que é AnimateDiff
O AnimateDiff é uma ferramenta de IA que pode transformar uma imagem estática ou um prompt de texto em um vídeo animado, gerando uma sequência de imagens que transitam suavemente. Funciona utilizando modelos Stable Diffusion junto com módulos de movimento separados para prever o movimento entre quadros. O AnimateDiff permite que os usuários criem facilmente clipes animados curtos sem precisar criar manualmente cada quadro.
Como fazer um vídeo com o AnimateDiff em 4 passos
Escolha um modelo / estilo base
Escolha o visual que deseja — anime, realista, cartoon, tinta — dos modelos Stable Diffusion compatíveis.
Escreva seu prompt
Descreva a cena, o sujeito, a ação e o movimento de câmera que deseja animar.
Defina duração e FPS
Escolha o número de quadros e a taxa de quadros para controlar a duração e a suavidade do clipe.
Gere e baixe
Execute o AnimateDiff, visualize o resultado em loop e exporte sua animação.
As capacidades do AnimateDiff em um relance
| Recurso | O que faz | Quando usar |
|---|---|---|
| Módulos de movimento v1/v2/v3/SDXL | Diferentes priors de movimento treinados para variar qualidade e resolução | Combine o módulo ao seu modelo base e resolução alvo |
| Prompt Travel | Transição suave entre prompts ao longo dos quadros | Crie cenas em evolução ou sujeitos em transformação |
| Motion LoRA | Adicione movimentos de câmera específicos como zoom/pan/giro | Direcione o movimento de câmera cinematográfico |
| ControlNet | Guie o movimento e a estrutura com entradas de referência | Mantenha pose/composição consistente |
| Loop fechado | Faça a animação repetir sem emendas | Clipes em loop perfeitos no estilo GIF |
| Interpolação de quadros | Insira quadros intermediários para movimento mais suave | Aumente o FPS percebido sem regerar |
| Hi-Res fix | Aumente a escala preservando o detalhe do movimento | Saída mais nítida e de maior resolução |
| Aceleração LCM / SDXL Turbo | Menos etapas para geração mais rápida | Iteração rápida e pré-visualizações |
O AnimateDiff pode gerar animações apenas a partir de prompts de texto. Os usuários podem enviar uma imagem e o AnimateDiff preverá o movimento para gerar uma animação. Os usuários não precisam criar manualmente cada quadro, pois o AnimateDiff gera automaticamente a sequência de imagens. O AnimateDiff pode ser integrado perfeitamente ao Stable Diffusion e aproveitar suas poderosas capacidades de geração de imagens.
Ele utiliza um módulo de movimento pré-treinado junto com um modelo de geração de imagens Stable Diffusion. O módulo de movimento é treinado em um conjunto diversificado de clipes curtos para aprender movimentos e transições comuns. Ao gerar um vídeo, o módulo de movimento recebe um prompt de texto e os quadros precedentes como entrada. Em seguida, prevê o movimento e a dinâmica da cena para transitar entre quadros suavemente. Essas previsões são passadas ao Stable Diffusion para gerar o conteúdo real da imagem em cada quadro. O Stable Diffusion cria imagens que correspondem ao prompt de texto enquanto se conformam ao movimento previsto pelo módulo. Esse processo coordenado resulta em uma sequência de imagens que formam uma animação suave e de alta qualidade a partir da descrição de texto. Ao aproveitar tanto a previsão de movimento quanto a síntese de imagens, o AnimateDiff automatiza a geração de vídeo animado.
Arte e animação: artistas/animadores podem prototipar rapidamente animações e esboços animados a partir de prompts de texto, economizando esforço manual significativo. Visualização de conceitos: ajuda a visualizar conceitos e ideias abstratas transformando-os em animações, útil para storyboarding. Desenvolvimento de jogos: pode gerar rapidamente movimento e animações de personagens para prototipar mecânicas de jogo. Gráficos dinâmicos: crie gráficos animados para anúncios, apresentações e posts sociais. Realidade aumentada: anime personagens e objetos AR gerando movimento mais suave e natural. Pré-visualização: visualize cenas complexas com animação antes de filmar ou renderizar a produção final. Educação: crie explicações e demonstrações de conceitos como vídeos animados envolventes. Mídias sociais: gere posts e stories animados cativantes simplesmente descrevendo-os em texto. A capacidade de ir diretamente de texto/imagens para animação abre muitas possibilidades para uma criação de animação mais fácil e rápida em vários domínios.
Você pode usar a ferramenta gratuitamente no site animatediff.net sem precisar dos seus próprios recursos de computação ou conhecimento de programação. No site, você simplesmente insere um prompt de texto descrevendo a animação que deseja criar. Ele então gerará automaticamente um GIF animado curto a partir do seu prompt de texto usando capacidades de IA de última geração. Todo o processo acontece online e você pode baixar a animação resultante para usar como quiser. Isso oferece uma forma fácil de experimentar os poderes de animação do AnimateDiff sem configuração. Você pode começar a criar animações com IA a partir da sua imaginação em apenas alguns cliques!
Uma GPU Nvidia é necessária, idealmente com pelo menos 8 GB de VRAM para geração de texto para vídeo. 10+ GB de VRAM são necessários para vídeo para vídeo. É necessária uma GPU suficientemente potente para inferência, como uma RTX 3060 ou melhor. Windows ou Linux; macOS pode funcionar via Docker, e o Google Colab também é uma opção. Mínimo de 16 GB de RAM do sistema recomendado. Uma quantidade decente de armazenamento é necessária para salvar sequências de imagens, vídeos e arquivos de modelo. Funciona com AUTOMATIC1111 ou Google Colab e requer a instalação do Python e outras dependências. Atualmente compatível apenas com modelos Stable Diffusion v1.5, incluindo modelos checkpoint SD 1.5, modelos personalizados, estilos LoRA/DreamBooth e variantes de modelo específicas do SDXL.
Inicie a interface web AUTOMATIC1111 normalmente. Vá para a página de Extensões e clique na aba «Install from URL». No campo URL, insira a URL do GitHub da extensão AnimateDiff: https://github.com/continue-revolution/sd-webui-animatediff. Aguarde a confirmação de que a instalação está completa, então reinicie a interface web AUTOMATIC1111. A extensão agora deve aparecer nas abas txt2img e img2img. Baixe os módulos de movimento necessários e coloque-os nas pastas adequadas conforme explicado na documentação, então reinicie o AUTOMATIC1111 novamente. Agora a extensão está pronta para ser usada para gerar vídeos animados no AUTOMATIC1111!
O loop fechado torna o primeiro e o último quadro idênticos para criar um vídeo em loop sem emendas. Reverse frames dobra a duração do clipe anexando quadros em ordem inversa. A interpolação de quadros aumenta a taxa de quadros para tornar o movimento mais suave. O tamanho do lote de contexto controla a coerência temporal entre quadros. O Motion LoRA adiciona movimentos de câmera como panorâmica e zoom. O ControlNet direciona a animação com base nos movimentos de um vídeo de referência. Imagem para imagem permite definir quadros de início e fim para mais controle sobre a composição. O FPS e o número de quadros controlam a velocidade e a duração total da animação. Os módulos de movimento produzem padrões de movimento distintos. Essas configurações controlam estilo, suavidade, movimentos de câmera, velocidade e duração.
Faixa de movimento limitada: o movimento é restrito pelo que está nos dados de treinamento, então não pode animar movimentos muito complexos ou incomuns não vistos no conjunto de treinamento. Movimentos genéricos: a saída não é adaptada especificamente ao prompt e tende a produzir movimentos genéricos vagamente relacionados a ele. Artefatos às vezes podem aparecer à medida que o movimento aumenta. Compatibilidade: atualmente funciona apenas com modelos Stable Diffusion v1.5, não SD v2.0. A qualidade do movimento depende fortemente da diversidade e relevância dos dados de treinamento. Obter movimento suave e de alta qualidade requer ajustar muitas configurações como tamanho do lote, FPS e quadros. Manter a coerência temporal em clipes longos ainda é um desafio. À medida que a tecnologia amadurece, podemos esperar que muitos desses problemas sejam resolvidos.
Pronto para animar sua ideia?
Comece hoje a transformar seus textos e imagens em vídeos cativantes com o AnimateDiff.
Experimente o AnimateDiff grátis