Дослідження некомерційної організації Ekō показало, що підлітки можуть обходити захист відеогенератора Sora 2 від OpenAI і створювати реалістичні ролики про насильство, шкільні шутинги та расистські сцени. Це ставить під сумнів ефективність батьківського контролю та модерації.

Sora 2 вийшла в жовтні разом із додатком зі стрічкою TikTok-формату. Уже з перших днів користувачі почали створювати абсурдні та провокаційні кліпи. Після скандалів OpenAI посилила правила, але расистські та неприйнятні відео продовжували з’являтися.

Ekō створила акаунти підлітків 13-14 років і протестувала Sora. Попри нові фільтри, вдалося отримати 22 реалістичні ролики, що порушують політики OpenAI: сцени з речовинами, небезпечні висловлювання, сексуалізовані пози та інший заборонений для підлітків контент.

Команда також виявила численні расистські відео та ролики з цькуванням. Алгоритми рекомендацій швидко підкидали підлітковим акаунтам насильство та знущання. Функція Cameo, яка дозволяє вставляти чужі образи у відео, перетворилася на інструмент кібербулінгу.

Фільтри працювали непослідовно: одні й ті самі промти інколи блокувалися, а інколи ні. Ekō припускає, що Sora можна поступово “обійти”, як і ChatGPT у довгих розмовах.

На думку філософині Карісси Веліс, OpenAI не довела, що її продукти приносять більше користі, ніж шкоди. Попри критику, компанія залишається лідером ринку й розглядає IPO з оцінкою до трильйона доларів.

Источник: itechua.com