El Ministerio Público (Fiscalía General), el regulador de protección de datos personales y el regulador de protección del consumidor otorgaron a la plataforma un plazo de cinco días para bloquear la generación de imágenes sexuales sin consentimiento a través de Grok, su asistente de IA. Las autoridades cuestionan la insuficiencia y la falta de transparencia en la respuesta de la empresa y advierten sobre la persistencia de fallas que permitirían la circulación de este tipo de contenidos.
El Ministerio Público (MP) de Brasil, junto con la Autoridad Nacional de Protección de Datos (ANPD) y la Secretaría Nacional del Consumidor (Senacon), exigieron a la plataforma X que adopte medidas inmediatas para impedir la creación de imágenes de carácter sexual generadas por Grok, el asistente de inteligencia artificial desarrollado por la empresa xAI, propiedad de Elon Musk.
Según informaron las autoridades, la empresa dispone de un plazo de cinco días para implementar mecanismos eficaces que bloqueen la producción de contenidos sexualizados o erotizados, tanto de niños y adolescentes como de personas adultas que no hayan expresado su consentimiento. En caso de incumplimiento, la empresa podría enfrentar multas y acciones judiciales.
La decisión se produjo tras una notificación previa, emitida el 18 de enero, en la que los mismos organismos habían recomendado una serie de medidas para impedir la creación de imágenes íntimas sin consentimiento, incluyendo la suspensión inmediata de cuentas vinculadas a este tipo de prácticas. De acuerdo con las autoridades, luego de recibir la notificación, X afirmó haber eliminado miles de publicaciones y suspendido cientos de cuentas, además de anunciar nuevas medidas de seguridad.
Sin embargo, exámenes técnicos posteriores habrían detectado una “persistencia de fallas” que permitiría que este tipo de contenido continúe generándose y circulando en la plataforma. Las entidades denunciaron falta de transparencia en la respuesta brindada por la empresa.
La controversia se enmarca en una creciente preocupación internacional por herramientas que permiten manipular imágenes reales para producir contenido sexualizado sin consentimiento. Una semana después de la notificación oficial, X seguía permitiendo la publicación de videos que simulaban situaciones de abuso sexual, pese a sus propias políticas de seguridad.
El chatbot Grok, integrado en X, permitiría modificar imágenes reales de personas mediante instrucciones simples, como alterar su vestimenta o simular desnudez. Según el Centro para Combatir el Odio Digital (CCDH), la herramienta habría generado en apenas 11 días, 3 millones de imágenes sexualizadas de mujeres y menores.
El caso se inscribe en el debate más amplio sobre la responsabilidad de las plataformas digitales frente a los riesgos derivados de sistemas de inteligencia artificial generativa, especialmente cuando su diseño o implementación facilita la producción de contenidos que vulneran derechos fundamentales, como la protección de datos personales, la integridad y la dignidad de las personas.
ENLACES RELACIONADOS:
Governo brasileiro exige que X impeça criação de imagens sexuais no Grok
El Gobierno de Brasil pide a X limitar la creación por IA de imágenes sexualizadas
Grok AI generated about 3m sexualised images in 11 days, study finds