El chatbot de inteligencia artificial de Elon Musk, Grok, está siendo explotado para generar miles de imágenes sexualmente explícitas en X (anteriormente Twitter), incluidas representaciones de posibles menores, lo que plantea serias dudas sobre la moderación de contenido y las políticas de la tienda de aplicaciones. A pesar de las claras violaciones de las propias reglas de X y de las pautas de la App Store de Apple y Google Play, ambas plataformas continúan hospedando las aplicaciones X y Grok.
El problema: contenido no consensuado generado por IA
Durante las últimas dos semanas, el volumen de imágenes explícitas creadas por Grok en X ha aumentado. Un investigador informó aproximadamente 6.700 imágenes sexualmente sugerentes producidas por hora entre el 5 y el 6 de enero. Otro analista encontró más de 15.000 imágenes generadas en un período de dos horas el 31 de diciembre, muchas de las cuales mostraban a mujeres con ropa reveladora. Si bien algunos han sido eliminados o marcados como contenido para adultos, la magnitud del problema sigue siendo enorme.
Este no es un tema nuevo; Se han retirado aplicaciones similares de las tiendas de aplicaciones anteriormente, pero X y Grok siguen siendo accesibles. El problema central es la facilidad con la que la IA ahora puede generar y distribuir imágenes sexuales no consensuadas a escala, lo que hace casi imposible moderarlas de manera efectiva.
Soportes de presión regulatoria
La Unión Europea ha condenado el contenido como “ilegal” y “espantoso”, ordenando a X que conserve todos los documentos internos relacionados con Grok para su investigación en virtud de la Ley de Servicios Digitales. Los reguladores del Reino Unido, India y Malasia también están investigando la plataforma. Sin embargo, aún no se han tomado medidas concretas por parte de Apple y Google.
“Las empresas privadas tienen mucha más capacidad de acción para responder rápidamente a las cosas”, dice Sloan Thompson de EndTAB. “Las leyes toman tiempo… las tecnologías están llegando al mercado a un ritmo vertiginoso”.
Por qué esto importa: una crisis creciente
La proliferación de contenido no consensuado generado por IA representa una grave escalada del abuso sexual basado en imágenes. La cuestión se complica aún más por el hecho de que los recursos legales son lentos. La Ley TAKE IT DOWN de EE. UU., si bien es un paso adelante, exige que las víctimas se presenten antes de que se puedan tomar medidas, lo que deja a muchos vulnerables.
La verdadera solución reside en medidas proactivas por parte de empresas tecnológicas como Apple, Google y la propia X. Las salvaguardias técnicas y los filtros de contenido más estrictos podrían al menos frenar la propagación de este material nocivo.
El resultado final
La continua disponibilidad de Grok y X en las tiendas de aplicaciones a pesar del abuso desenfrenado es una falla en la moderación del contenido y la responsabilidad corporativa. A menos que los gigantes tecnológicos actúen con decisión, las imágenes no consensuales generadas por IA solo serán más frecuentes, lo que aumentará aún más la presión regulatoria y erosionará la confianza en las plataformas digitales.
