À primeira vista, o autoproclamado aplicativo de “retrato de animal de estimação” Viefur parece ser apenas mais um Resíduos de IA gerador. Usando moedas digitais vendidas no aplicativo – cerca de US$ 4 comprarão 130 moedas – as fotos do animal de estimação podem ser transformadas em um “retrato antropomórfico”, com a criatura vestida com “roupas humanas” e inserida em cenas bizarras. Pense em um hamster vestindo shorts de praia, óculos escuros e descansando em uma piscina ou em um gato vestindo uma camisa havaiana, bebendo de um coco.
Tudo isso é um disfarce para o que parece ser o verdadeiro propósito do aplicativo: criar imagens deepfake sexualmente abusivas.
Uma investigação da WIRED descobriu que o aplicativo faz parte de uma rede de mais de 400 domínios e aplicativos conectados que, como Viefur, muitas vezes afirmam ser serviços diários, como aulas de idiomas ou treinadores de exercícios de IA. Quando acessados sob certas condições, no entanto, os aplicativos na rede carregam furtivamente uma interface da web que permite a geração de imagens e vídeos sexuais explícitos de IA usando fotos enviadas pelos usuários. Os aplicativos incluem cenas de IA, como “estupro no quarto” e “ameaça com faca”, onde um homem aponta uma faca para o pescoço de uma mulher.
A rede foi descoberta escondida à vista de todos, por vários pesquisadores, depois de investigarem links de milhares de anúncios em vídeo contendo conteúdo deepfake explícito que foram publicados no Facebook e Instagram da Meta. Como a WIRED tem relatado nos últimos meses, centenas desses anúncios continham Material de abuso sexual infantil gerado por IAincluindo imagens de crianças reais e um membro de uma família real europeia. Os anúncios alcançaram dezenas de milhares de pessoas e geraram investigações de reguladores em todo o mundo.
Em cada caso, os anúncios estavam vinculados a aplicativos enganosos nas lojas de aplicativos da Apple e do Google, permitindo que as pessoas gerassem imagens explícitas e fizessem pagamentos usando Apple e Google Pay. A rede por trás dos aplicativos nudify parece publicá-los há cerca de um ano, às vezes publicando dezenas por semana. Isso apesar de Google, Apple e Meta dizerem que aplicam suas políticas que não permitem conteúdo deepfake prejudicial em suas plataformas.
Os aplicativos e domínios investigados pela WIRED parecem ser executados por desenvolvedores chineses e por uma entidade registrada em Hong Kong chamada KeLing Technology Limited, de acordo com uma análise dos domínios da web e de como os serviços operam. Endereços de e-mail vinculados à entidade, aplicativos e serviços relacionados não responderam a vários pedidos de comentários da WIRED, mas após serem contatados, pareceram apagar conexões públicas entre KeLing Technology Limited e as ferramentas deepfake.
“Esta é uma operação organizada e comercial: um operador por trás de centenas de aplicativos e domínios descartáveis, disfarçados para passar na revisão da App Store e empurrados através de dezenas de milhares de anúncios Meta sob nomes de pagadores falsos”, diz Paul Bouchaud, pesquisador-chefe da organização sem fins lucrativos AI Forensics, que investigou a rede. “Eles não esperam que a fiscalização os alcance, e até agora isso não aconteceu.”
Comportamento Oculto
Baixe um dos aplicativos da rede deepfake e você poderá ver exatamente o que foi anunciado – como um aplicativo para criar imagens de animais de estimação com IA. Mas, nos bastidores, descobriram os pesquisadores, os aplicativos estão silenciosamente tomando decisões sobre se devem mostrar o conteúdo benigno ou carregar uma interface da web mostrando deepfakes explícitos.
“Cada vez que o aplicativo é baixado, há uma chamada para o servidor com algumas informações, como de onde o usuário vem, o idioma, algum identificador único, e então o servidor responde se deve ou não mostrar a versão explícita ou não explícita dele”, explica Bouchaud, que fez a engenharia reversa do código dos aplicativos e sites associados. Eles dizem que não há uma lista clara de motivos pelos quais um usuário pode ver a versão explícita de um aplicativo, mas um gatilho parece ser baixá-lo depois de clicar em um anúncio associado nas plataformas Meta.
Compartilhe esta publicação
Ajude a levar esta informação adiante — publique no seu perfil.