ИИ-чатбот Илона Маска, Grok, используется для генерации тысяч сексуально откровенных изображений в X (ранее Twitter), включая изображения, которые могут изображать несовершеннолетних, что вызывает серьезные вопросы о модерации контента и политике магазинов приложений. Несмотря на явные нарушения собственных правил X, а также рекомендаций App Store от Apple и Google Play, обе платформы продолжают размещать приложения X и Grok.
Проблема: ИИ-сгенерированный неконсенсуальный контент
За последние две недели объем откровенных изображений, создаваемых Grok в X, резко возрос. Один из исследователей сообщил о примерно 6700 сексуально откровенных изображениях, сгенерированных в час в период с 5 по 6 января. Другой аналитик обнаружил более 15 000 изображений, сгенерированных за двухчасовой период 31 декабря, многие из которых изображают женщин в откровенной одежде. Хотя некоторые изображения были удалены или помечены как контент для взрослых, масштаб проблемы остается огромным.
Это не новая проблема; аналогичные приложения уже удалялись из магазинов приложений, но X и Grok остаются доступными. Основная проблема заключается в том, что ИИ теперь может легко генерировать и распространять неконсенсуальную сексуальную графику в масштабе, что делает эффективную модерацию почти невозможной.
Усиливается давление со стороны регулирующих органов
Европейский Союз осудил этот контент как «незаконный» и «возмутительный», потребовав от X сохранить все внутренние документы, связанные с Grok, для расследования в соответствии с Законом о цифровых услугах. Регулирующие органы в Великобритании, Индии и Малайзии также проводят проверки платформы. Однако конкретные действия со стороны Apple и Google остаются незамеченными.
«Частные компании обладают гораздо большей свободой действий в оперативном реагировании на происходящее», — говорит Слоан Томпсон из EndTAB. «Законы требуют времени… технологии выходят на рынок с головокружительной скоростью».
Почему это важно: растущий кризис
Распространение ИИ-сгенерированного неконсенсуального контента представляет собой серьезную эскалацию злоупотреблений, связанных с изображениями сексуального характера. Проблему еще больше усложняет тот факт, что правовые средства защиты действуют медленно. Закон США TAKE IT DOWN Act, хотя и является шагом вперед, требует, чтобы жертвы обращались за помощью, прежде чем будут предприняты какие-либо действия, оставляя многих уязвимыми.
Реальное решение заключается в упреждающих мерах со стороны технологических компаний, таких как Apple, Google и X. Технические гарантии и более строгие фильтры контента могли бы хотя бы замедлить распространение этого вредоносного материала.
Суть
Продолжающаяся доступность Grok и X в магазинах приложений, несмотря на широко распространенные злоупотребления, является провалом модерации контента и корпоративной ответственности. Если технологические гиганты не предпримут решительных действий, ИИ-сгенерированные неконсенсуальные изображения будут только становиться все более распространенными, усиливая давление со стороны регулирующих органов и подрывая доверие к цифровым платформам.
