André Sugai
A Adobe reconhece as implicações éticas de sua tecnologia. Confiar no que vemos é cada vez mais importante em um mundo onde a edição de imagens se tornou onipresente – o conteúdo falso é um problema sério e cada vez mais premente. A Adobe está comprometida em explorar novas tecnologias de processamento de imagem, como implantar inteligência artificial (IA) e usar a mesma tecnologia para aumentar a confiança e a autoridade nas mídias digitais.
Nesse ambiente atual de notícias falsas, falsificações profundas e manipulação de imagens, os pesquisadores da Adobe Richard Zhang e Oliver Wang, juntamente com seus colaboradores da UC Berkeley, Sheng-Yu Wang, Dr. Andrew Owens e Professor Alexei A. Efros, desenvolveram um método para detectar edições nas imagens que foram feitas usando o recurso Liquify Face-Aware do Photoshop. Este trabalho é patrocinado pelo programa DARPA MediFor. Ainda em seus estágios iniciais, a Adobe Research e a UC Berkeley mostraram recentemente essa tecnologia no Adobe MAX. Embora este trabalho seja muito específico, a ciência de descobrir e analisar alterações nas imagens digitais será cada vez mais uma parte importante do debate à medida que as ferramentas se tornarem mais inteligentes.
Essa nova pesquisa da Adobe e da UC Berkeley faz parte de um esforço mais amplo da Adobe para detectar melhor as manipulações de imagem, vídeo, áudio e documentos. As pesquisas anteriores da Adobe focaram-se na detecção de manipulação de imagens de emenda, clonagem e remoção, enquanto esse esforço se concentra apenas no recurso Face-Aware Liquify no Photoshop. O Face-Aware é popular por ajustar os recursos faciais, incluindo ajustes nas expressões faciais. A equipe demonstrou que não só pode detectar alterações sutis nas faces, mas também muitas vezes plausivelmente reverter as alterações originais e desfazer as alterações.
Ao treinar uma Rede Neural Convolucional (CNN), uma forma de aprendizado profundo, o projeto de pesquisa é capaz de reconhecer imagens alteradas de rostos. Os pesquisadores criaram um extenso conjunto de imagens de treinamento usando scripts do Photoshop para usar o Face-Aware Liquify em milhares de imagens retiradas da Internet. Um subconjunto dessas fotos foi escolhido aleatoriamente para treinamento. Além disso, um artista foi contratado para alterar as imagens que foram misturadas no conjunto de dados. Esse elemento de manipulação humana direta ampliou a gama de alterações usadas para o conjunto de testes além das imagens geradas sinteticamente.
“Começamos mostrando pares de imagens (um original e uma alteração) para pessoas que sabiam que um dos rostos estava alterado”, diz Wang. “Para que essa abordagem seja útil, ela deve ter um desempenho significativamente melhor que o olho humano na identificação de rostos editados.”
Aqueles olhos humanos foram capazes de julgar a face alterada 53% das vezes, um pouco melhor que o acaso. Mas em uma série de experimentos, a ferramenta de rede neural alcançou resultados de até 99%.
A ferramenta também identificou áreas e métodos específicos de deformação facial. No experimento, a ferramenta reverteu imagens alteradas para o cálculo de seu estado original, com resultados que impressionaram até os pesquisadores.
“Pode parecer impossível, porque existem tantas variações possíveis da geometria facial”, diz o professor Alexei A. Efros, da UC Berkeley. “Mas, neste caso, porque o aprendizado profundo pode observar uma combinação de dados de imagem de baixo nível, como artefatos distorcidos, bem como dicas de nível superior, como layout, parece funcionar”.
“A idéia de um botão mágico universal” desfazer “para reverter as edições da imagem ainda está longe da realidade”, acrescenta Zhang. “Mas vivemos em um mundo onde está se tornando mais difícil confiar nas informações digitais que consumimos, e estou ansioso para explorar ainda mais essa área de pesquisa”.
Pergunta: A detecção do processamento de imagem é impressionante, isso está apenas resultando em aprendizado profundo no estilo de pixel e nível de ruído? Funcionaria apenas em imagens manipuladas com, por exemplo, reconhecimento de rosto ou poderia detectar alterações de recortar e colar no futuro?
Adobe: Nossa rede é treinada apenas para detectar o recurso “Face-Aware Liquify” no Adobe Photoshop, que é popular para ajustar os recursos faciais – incluindo fazer ajustes nas expressões faciais. Com o aprendizado de máquina e redes neurais profundas geralmente não é possível dizer exatamente o que está aprendendo e interpretando. Nossa hipótese é que ela esteja explorando uma combinação de sugestões de nível baixo (pixel e ruído) e nível médio (contornos).
Nossa rede não tem como objetivo detectar emendas de imagem (recortar e colar); existem documentos recentes destinados a essa operação:
- Minyoung Huh, Andrew Liu, Andrew Owens, Alexei A. Efros. Fighting Fake News: Image Splice Detection via Learned Self-Consistency. ECCV 2018.
- Peng Zhou, Xintong Han, Vlad I. Morariu, Larry S. Davis. Learning Rich Features for Image Manipulation Detection. CVPR 2018.
Pergunta: A detecção de imagem funciona se o arquivo estiver compactado ou a compactação JPEG oculta alguns dos dados que seriam usados para a detecção? Na demonstração do Adobe MAX, as imagens são manipuladas e testadas, mas, na natureza, as imagens alteradas são compactadas e carregadas, copiadas, etc?
Adobe: Testamos contra esse embaçamento e compactação JPEG. Em todos os casos, o desempenho diminuiu conforme o esperado, mas não até a inutilidade (“acaso”). Descobrimos que treinar o sistema com tais perturbações, conhecido como “aumento de dados”, o tornava mais resistente.
No entanto, algo com o qual você não pode treinar é a cópia física. Tentamos imprimir imagens e digitalizá-las novamente, o que pretendia simular se poderíamos detectar imagens distorcidas na mídia impressa. Ficamos empolgados ao descobrir que, ao fazer mais aprimoramentos no tempo de treinamento, a rede também se tornou mais resiliente a isso.
Pergunta: Por que não combinar isso com a detecção de metadados? Suponho que você ainda não o fez para que sua demonstração técnica seja limpa e fácil de entender?
Adobe: Queríamos ver até onde poderíamos levar a ideia, apenas olhando para pixels. Cientificamente, não tínhamos certeza se isso era possível. Afinal, uma imagem com um pouco de distorção ainda parece bastante realista aos nossos olhos.
Obviamente, o problema mais amplo de autenticidade do conteúdo se estende muito além da simples visualização de pixels. A compreensão de metadados e contexto é fundamental para detectar mídias falsas. Acreditamos que resolver o crescente problema de conteúdo falso exigirá mais colaboração entre criadores, pesquisadores, provedores de tecnologia e distribuidores de conteúdo. Para ajudar a resolver esse problema, a Adobe – em colaboração com a The New York Times Company e o Twitter – anunciou recentemente a Iniciativa de Autenticidade de Conteúdo para desenvolver um padrão do setor para atribuição de conteúdo digital.
Pergunta: Qual a extensão do conjunto de dados de treinamento? É baseado em imagens sucateadas para criar vastos dados de treinamento ou é treinado em um conjunto interno muito menor de imagens manipuladas? Os dados de treinamento foram marcados com labels?
Adobe: Para imagens “não manipuladas”, usamos conjuntos de dados acadêmicos publicamente disponíveis, o que nos permitiu obter mais de 100 mil exemplos. Algoritmos modernos de aprendizado de máquina exigem muitos dados para serem treinados. Foi difícil obter um grande conjunto de imagens distorcidas ou “manipuladas”. Em vez disso, criamos o script da ferramenta Liquify com reconhecimento de rosto no Adobe Photoshop para distorcer aleatoriamente as imagens não manipuladas, o que nos permitiu gerar dados de treinamento “gratuitos”. Acabamos com um milhão de imagens no total, manipuladas e não manipuladas.
Uma pergunta que tínhamos é se o treinamento do sistema em distorções aleatórias generalizaria para casos de uso reais. Por isso, fizemos um conjunto de testes separado, pedindo a um artista para manipular um pequeno conjunto de imagens e validamos o modelo nesse conjunto.
Pergunta: Dado que até uma pequena quantidade de processamento de imagem foi detectada, – o redimensionamento e a correção de cores seriam sinalizados?
Adobe: A rede é treinada para identificar se o recurso Face-Aware Liquify foi aplicado no Adobe Photoshop. Durante o treinamento, as imagens são ligeiramente redimensionadas, por isso deve ser um pouco resistente a isso. No entanto, não é treinado com modificações fotométricas, como aerografia ou alterações na iluminação global. Portanto, é provável que o desempenho diminua nesses casos (o que significa que isso reduziria nossa chance de estimar corretamente se as imagens foram distorcidas ou não na presença de tais alterações). Isso é chamado de problema de “viés do conjunto de dados”, em que casos de teste reais diferem da distribuição do treinamento.
Acreditamos que nosso trabalho é um importante passo à frente na detecção e remoção de distorções faciais pelas ferramentas de edição de imagens.
Pergunta: A opção Desfazer é incrível, presumo que ele esteja se equilibrando novamente para equalizar o efeito detectado sobre a imagem, independentemente de qual seja a imagem … ou o UNDO está usando uma abordagem de IA diferente?
Adobe: Temos duas redes: a primeira rede “global” tenta identificar se o Liquify com reconhecimento de rosto foi usado e a segunda tenta “desfazer” a alteração. Como o problema de “desfazer” é muito difícil, decidimos treiná-lo apenas nas imagens que foram manipuladas. A estrutura das duas redes é relacionada, mas diferente – uma deve fornecer uma única resposta sim / não, enquanto a outra tenta fornecer um mapa que descreve como cada pixel foi distorcido.
Futuro
No futuro, a Adobe está trabalhando em vários projetos de pesquisa para ajudar a verificar a autenticidade da mídia digital criada por seus produtos e para identificar e desencorajar o uso indevido.
“Este é um passo importante para detectar certos tipos de edição de imagens, e a capacidade de desfazer funciona surpreendentemente bem”, comentou o chefe da Adobe Research, Gavin Miller. “Além de tecnologias como essa, a melhor defesa será um público sofisticado que sabe que o conteúdo pode ser manipulado – geralmente para deleitá-los, mas às vezes para enganá-los.”
source https://www.relink.tutoriaisphotoshop.net/adobe-usa-ia-para-detectar-imagens-que-usaram-photoshop/
