IA sem freios expõe crianças e desafia leis: o alerta por trás do caso Grok

IA sem freios expõe crianças e desafia leis: o alerta por trás do caso Grok

Uma cena comum nas redes sociais — uma mãe orgulhosa compartilhando a primeira vez em que seu bebê vê o mar — pode esconder riscos invisíveis. Além do sorriso tímido e da carequinha brilhando sob o sol, a imagem passa a integrar um imenso banco de dados consumido não apenas por pessoas mal-intencionadas, mas também por algoritmos treinados para identificar corpos e padrões visuais. A partir de milhões de imagens aparentemente inocentes, sistemas de inteligência artificial (IA) aprendem a criar versões sexualizadas ou até pornográficas de pessoas reais, inclusive crianças.

Esse risco ganhou repercussão internacional no fim de dezembro de 2025, com o caso do Grok, chatbot desenvolvido pela empresa de Elon Musk. O bilionário é acusado de facilitar a produção e a circulação de conteúdo sexualizado, inclusive envolvendo crianças e adolescentes, por meio de falhas graves em seus mecanismos de segurança.

Para a professora Leo Ribeiro, do Instituto de Ciências Matemáticas e de Computação (ICMC) da USP, em São Carlos, a controvérsia resulta de uma combinação de negligência técnica e escolhas ideológicas. “Diferente de outras empresas concorrentes, como ChatGPT ou Gemini, o Grok foi lançado sem treinamento de segurança e sem filtros para evitar a geração de conteúdo ofensivo ou ilegal. A liderança do Grok vê essas salvaguardas como censura, e não como bom senso”, afirma a docente, que atua no Projeto Araceli: Inteligência Artificial no Combate ao Abuso Sexual Infantil.

Salvaguardas desiguais

O professor Fernando Osório, membro do comitê executivo e coordenador de difusão do Centro para Inteligência Artificial (C4AI), realizou um experimento comparativo que ilustra como diferentes sistemas lidam com pedidos sensíveis. Ao carregar uma foto do falecido Papa Francisco e pedir ao ChatGPT que gerasse uma versão do pontífice com físico musculoso, o pedido foi atendido. Em seguida, ao solicitar que a imagem fosse alterada para retirar a camisa da figura, o sistema também cumpriu a instrução.

“O modelo considerou aceitável a alteração corporal, por se tratar de uma figura masculina, algo que pode ser considerado inadequado por muitas pessoas”, explica Osório. Já em testes semelhantes com o Gemini, do Google, o pesquisador relata que a ferramenta se recusou a realizar diversas instruções, preservando a integridade da imagem original. Para ele, a comparação evidencia níveis muito distintos de salvaguardas entre as grandes empresas de IA.

Escala e impacto

Lançado nos Estados Unidos no final de 2023, o Grok chegou ao Brasil apenas no início de 2025, destacando-se pela capacidade de gerar imagens fotorrealistas. O problema ganhou dimensão crítica quando mais de 15 mil imagens explícitas foram produzidas em apenas duas horas, incluindo representações de figuras públicas. No dia 10 de janeiro, o próprio Elon Musk publicou em seu perfil no X (antigo Twitter) montagens que mostravam o primeiro-ministro britânico, Keir Starmer, de biquíni.

Segundo Osório, o impacto é ampliado pela integração direta do Grok à plataforma X. “O Grok não existe no vácuo. Ele está plugado a uma das maiores plataformas de circulação de informação política e social do mundo, o que acelera a disseminação e amplia o alcance do conteúdo gerado”, observa. Com isso, imagens sexualizadas passaram rapidamente a circular fora da plataforma, alcançando outros sites, grupos e redes sociais.

Quem é responsável?

Além dos riscos sociais, o episódio expõe a ausência de governança transnacional para a inteligência artificial. Para João Paulo Cândia Veiga, professor do Departamento de Ciência Política da USP e pesquisador do Observatório Brasileiro de Inteligência Artificial (OBIA), as empresas se beneficiam da falta de regras claras. “Existe demanda jurídica e política por regulação, mas as empresas correm na frente aproveitando esse vácuo”, avalia.

No Brasil, segundo Veiga, há um desalinhamento entre as leis existentes e o ritmo da tecnologia. “Temos o Estatuto da Criança e do Adolescente, a legislação penal e a Lei Geral de Proteção de Dados, mas falta um marco que atribua deveres claros de mitigação e responsabilização às empresas de IA. Hoje, quem sofre o impacto é o usuário final”, aponta.

Na União Europeia, o Grok já foi enquadrado no AI Act, o marco regulatório europeu, que prevê sanções e exige ajustes imediatos para impedir a geração desse tipo de conteúdo. No Brasil, o Projeto de Lei 2338/2023, que cria o Marco Legal da Inteligência Artificial, já foi aprovado no Senado e segue para a Câmara dos Deputados. Para a professora Leo Ribeiro, o texto atual é insuficiente. “Foi retirada a obrigação de impedir a geração de imagens que façam apologia ao abuso sexual infantil, exatamente o que está acontecendo com o Grok. Mesmo aprovado, o projeto não responsabiliza as empresas”, alerta.

Pressão e denúncias

Diante do cenário, o Instituto de Defesa do Consumidor (Idec) protocolou, em 14 de janeiro, uma denúncia formal na Agência Nacional de Proteção de Dados (ANPD), solicitando a suspensão imediata dos serviços do Grok no Brasil.

O doutorando em Direito pela USP, Tiago Augustini de Lima, destaca que o Brasil é hoje o sexto país que mais utiliza o X, segundo dados da plataforma Statista. “Somos um mercado extremamente lucrativo. E quanto mais lucrativo, maior a resistência à regulação. Não é coincidência que Musk seja contra legislações sobre redes sociais e IA”, afirma.

Segundo Lima, a geração de imagens íntimas sem consentimento viola direitos fundamentais e pode configurar crime. “Mas a responsabilidade deveria ser compartilhada. Quem lucrou com a geração dessa imagem? Quem permitiu que a ferramenta operasse sem salvaguardas?”, questiona.

Embora o país tenha avançado com a promulgação do chamado “ECA Digital” e da Lei 15.123/2025, que agrava a pena para pornografia manipulada que cause violência psicológica de gênero, Lima avalia que a aplicação ainda é limitada. “Sem uma lei geral, é muito difícil responsabilizar empresas. Rastrear o autor já é complexo; responsabilizar quem lucrou com isso é ainda mais”, explica.

Pesquisa e formação ética

Em contraste com o vácuo regulatório, iniciativas acadêmicas buscam soluções. Apoiado pela FAPESP, o Projeto Araceli, coordenado pela professora Sandra Eliza Fontes de Avila, da Unicamp, desenvolve tecnologias para detectar material de abuso sexual infantil, rastrear e desindexar conteúdos, mapear redes de compartilhamento e auditar bases de dados de IA, evitando o uso de imagens de crianças em treinamentos.

Para os pesquisadores ouvidos, o problema também passa pela formação dos profissionais. “A ética começa na universidade”, defende Fernando Osório. “A tecnologia nunca é neutra. Quem vai para a indústria precisa decidir para que lado vai usar esse poder.”

Segundo ele, há uma tendência preocupante de tratar a IA apenas como um desafio técnico. “Ela é fantástica para medicina, educação e ciência, mas igualmente eficiente para enganar, manipular e explorar. Sem profissionais éticos, colocamos ferramentas poderosas nas mãos de quem não tem compromisso com a sociedade”, conclui.