Pornografia gerada por IA: OpenAI considera permitir produção de conteúdo adulto no ChatGPT

A OpenAI, dona do ChatGPT, está considerando permitir que sua inteligência artificial gere conteúdos pornográficos, violentos e explícitos. A avaliação foi feita em um documento publicado na quarta-feira, 8, que discute como os modelos da OpenAI devem se comportar.

“Acreditamos que os desenvolvedores e usuários devem ter a flexibilidade de usar nossos serviços como acharem melhor, desde que cumpram nossas políticas de uso”, disse a OpenAI, em resposta à diretriz de não permitir que seus modelos respondam com conteúdo NSFW (não seguro para o trabalho), incluindo conteúdo erótico, violência extrema, insultos e palavrões não solicitados.

“Estamos explorando se podemos fornecer de forma responsável a capacidade de gerar conteúdo NSFW em contextos apropriados para a idade por meio da API e do ChatGPT. Estamos ansiosos para entender melhor as expectativas dos usuários e da sociedade em relação ao comportamento do modelo nesta área.”

Respondendo a uma solicitação da rádio pública americana NPR, Joanne Jang, funcionária da empresa com sede em São Francisco, que trabalhou no documento, disse que a OpenAI quer iniciar uma discussão sobre se a geração de texto erótico e imagens de nudez deveria sempre ser banida de seus produtos. Deepfakes, no entanto, continuariam proibidos, segundo Jang.

“Queremos garantir que as pessoas tenham o máximo de controle na medida em que isso não viole a lei ou os direitos de outras pessoas, mas permitir deepfakes está fora de questão, ponto final”, disse Jang. “Isso não significa que estamos tentando agora criar pornografia de IA.”

Jang explica que há casos criativos em que conteúdo envolvendo sexualidade e nudez é importante para os usuários.

Por meio de um porta-voz, a OpenAI reforçou na quinta-feira, 9, que a empresa não tem intenção de permitir a geração de pornografia gerada por IA e deepfakes, mas que acredita “na importância de explorar cuidadosamente conversas sobre sexualidade em contextos apropriados para a idade”.

Em março, Mira Murati, diretor da tecnologia da OpenAI, afirmou que a companhia não descarta a geração de imagens de nudez no Sora, nova IA da startup capaz de produzir vídeos realistas a partir de comandos de texto.

Deepfake pornográfica preocupa autoridades

O uso de IA para a criação de imagens nuas de mulheres reais, incluindo crianças e adolescentes, tem preocupado instituições e governos ao redor do mundo. Organizações de combate à crimes online, como o Internet Watch Foundation (IWF), vêm alertando do uso de ferramentas de IA para manipular fotos de crianças e adolescentes publicadas na internet para deixá-las nuas. Com as fotos em mãos, os criminosos podem chantagear a pessoa a enviar mais fotos com conteúdos comprometedores. A situação, contudo, também tem crescido entre mulheres adolescentes e adultas.

Imagens explícitas criadas por deepfake da cantora Taylor Swift foram amplamente divulgadas no X (antigo Twitter) no começo do ano, com uma das fotos ganhando dezenas de milhões de visualizações e 24 mil reposts. Depois de um esforço coletivo dos milhões de fãs da artista, que durou vários dias, a rede passou a banir o material.

No Brasil, a polícia investiga inúmeros casos, em diferentes estados brasileiros, de alunas que denunciam a divulgação de nudes falsos criadas com inteligência artificial.

Em abril, a Apple e o Google removeram aplicativos que prometiam deepfake de nudez da App Store e do Google Play, após as denúncias do 404 Media, que relatou que a Meta estava hospedando anúncios dos apps no Facebook e no Instagram.

De acordo com a Meta, cerca de 1.500 propagandas de “Namoradas de IA” surgiram nas plataformas da empresa nos EUA até o dia 30 de abril de 2024.

No Brasil, o Projeto de Lei 5694/23 estabelece uma pena de quatro a oito anos de prisão, assim como multa, para quem fizer uso de inteligência artificial para manipular imagens e sons de crianças e adolescentes com o objetivo de produzir conteúdo sexual. O texto altera o Estatuto da Criança e do Adolescente e está sob análise na Câmara dos Deputados.