Tecnologias

O “AutoFlip” do Google foi projetado para cortar vídeos de forma inteligente

O “AutoFlip” do Google foi projetado para cortar vídeos de forma inteligente

Tradicionalmente, as pessoas usavam TVs com proporção de 16: 9 ou 4: 3 para assistir a vídeos. No entanto, com dispositivos recentes, as pessoas veem e criam vídeos em uma variedade de proporções. Cortar vídeos para caber nas telas desses dispositivos é uma tarefa tediosa para curadores de vídeo. Felizmente, o Google está empenhado em cortar vídeos sem problemas.

Recentemente, em um post de blog, o Google anunciou uma ferramenta de código aberto para reformular e cortar vídeos para caber em qualquer tela. AutoFlip é a ferramenta que usa tecnologia de rastreamento e detecção de objetos baseada em aprendizado de máquina (ML) para reestruturar vídeos automaticamente.

AutoFlip - Para Corte Inteligente de Vídeo

Google criou esta ferramenta para se livrar do método convencional de corte estático para recortar vídeos. O método de recorte estático envolve técnicas não confiáveis ​​de reenquadramento de vídeo, ou seja, especificar uma janela de visualização da câmera para o vídeo e, em seguida, recortar tudo fora dessa área. Este método produz uma saída indesejável dos vídeos.

O Google Autoflip é capaz de muitos recursos avançados que incluem detecção de foto, análise de conteúdo de vídeo e, por último, reenquadramento. Deixe-me quebrar cada uma dessas estratégias de reformulação brevemente.

Detecção de tiro (cena)

Uma cena ou tomada em um vídeo é uma sequência contínua de quadros sem cortes. Se houver alguma mudança na tomada ou cena de um vídeo, O AutoFlip do Google pode detectar a mudança comparando o histograma de cores dos quadros anteriores com os novos. Uma mudança de imagem é detectada quando a distribuição da cor do quadro muda em uma taxa diferente de uma janela deslizante histórica. A ferramenta, para otimizar o processo de reenquadramento, armazena todo o vídeo antes de tomar qualquer decisão de reenquadramento.

Análise de conteúdo de vídeo

Usando esta estratégia, a ferramenta detecta objetos e pessoas importantes no vídeo. Ele usa modelos de detecção de objetos baseados em aprendizado profundo para identificar objetos. Com este modelo, a ferramenta pode até detectar quaisquer sobreposições de texto ou logotipos de marcas e outros elementos como movimento ou bola para vídeos de esportes. Os modelos de detecção de rosto e objeto são integrados à ferramenta por meio do MediaPipe. É basicamente uma estrutura para processamento de dados multimodais por meio do desenvolvimento de pipelines. Esta estrutura usa a estrutura TensorFlow Lite ML do Google em CPUs.

Reenquadramento

Depois de identificar pessoas e objetos em vídeos, a ferramenta toma decisões lógicas sobre como reformular o vídeo. AutoFlip escolhe uma das três estratégias de reenquadramento para cortar o conteúdo - estacionário, panorâmica ou rastreamento. A ferramenta escolhe a estratégia ideal com base no conteúdo do vídeo. Por exemplo, no modo estacionário, a janela de visualização da câmera reenquadrada permanece fixa em uma posição estacionária onde a maioria das cenas importantes do vídeo estão presentes. Para vídeos que contêm movimento, ele usa Panning movendo a janela de visualização da câmera reformulada em uma velocidade constante. Quando há assuntos interessantes no quadro, o modo de rastreamento entra em vigor.

Com base na estratégia de reenquadramento escolhida pelo algoritmo, uma janela de recorte otimizada para cada quadro é definida pelo AutoFlip. Isso preserva o conteúdo importante do vídeo da melhor maneira possível.

O Google lançou esta ferramenta diretamente para os desenvolvedores e cineastas com o objetivo de “reduzam as barreiras à sua criatividade de design e alcance através da automação da edição de vídeo“. De paisagem a retrato ou de retrato a paisagem, seja qual for o caso, o AutoFlip é projetado para oferecer o melhor resultado possível.

Razões pelas quais o Pinterest vai dominar o Twitter
É bem dito que uma imagem vale mais que mil palavras e se uma imagem compete apenas com 140 caracteres, não é preciso dizer qual será o resultado. Em...
Polícia de Delhi lança 'WhatsApp para o público' para impedir violações de trânsito
Whatsapp é um dos aplicativos móveis mais usados ​​na Índia. O significado desta aplicação varia desde um estudante até um empresário. Enquanto um o u...
Como transmitir ao vivo para páginas do Facebook de PC ou Mac
Anteriormente, cobrimos como você pode usar uma câmera GoPro para transmitir ao vivo para o Facebook. No entanto, esse método funcionou apenas para st...