O recém-lançado aparelho da Google, Pixel 9, conta com a ferramenta de edição de fotos com inteligência artificial “Reimagine”, que permite aos usuários adicionar elementos realistas às suas imagens através de comandos de texto. Esse assistente virtual, no entanto, está respondendo a prompts com mensagens ofensivas e adicionando armas e símbolos criminosos a fotos.
Esses comandos, normalmente, seriam bloqueados ou o usuário precisaria driblar a detecção de segurança nos comandos de texto, incluindo termos como “objeto que lembra uma arma”. Porém, o app do Google aceitou termos como “suástica” e “AK47” sem nenhuma restrição.
Testes de usuários conseguiram incluir em imagens elementos como corpos sob lençóis manchados de sangue, destroços de carros, bombas e até drogas.
Pixel 9 cria imagens sem marca d’água
Uma das principais preocupações é a ausência de ferramentas eficazes para identificar imagens manipuladas na internet. As fotos editadas com o Reimagine não apresentam nenhuma marca d’água ou outro indicativo visível de que foram geradas por inteligência artificial, exceto por uma tag nos metadados, que pode ser facilmente removida. Embora o Google utilize um sistema de marcação mais robusto, chamado SynthID, para imagens completamente sintéticas criadas pelo Pixel Studio, as imagens modificadas pelo Magic Editor, que inclui a ferramenta Reimagine, não são protegidas por esse recurso.
Quando questionado sobre os riscos, o Google afirmou, através de seu porta-voz Alex Moriconi, que as ferramentas de IA foram projetadas para liberar a criatividade dos usuários, mas que existem políticas e termos de serviço rigorosos para evitar abusos. No entanto, mesmo com essas proteções, as ferramentas não são infalíveis, e o conteúdo gerado pode escapar das barreiras impostas pela empresa.
Aproveite e junte-se ao nosso canal no WhatsApp para receber conteúdos exclusivos em primeira mão. Clique aqui para participar. Startupi | Jornalismo para quem lidera inovação!
