Пошуковий інструмент ChatGPT від OpenAI може повертати шкідливий вміст і хибні відповіді, якщо скановані ним сайти використовують старий трюк з прихованим вмістом на сторінці.

OpenAI зробила свій пошуковий продукт доступним для всіх авторизованих користувачів і заохочує його використання як пошукового інструмента за умовчанням. Але журналісти The Guardian виявили потенційні проблеми з безпекою нової системи, якими можуть скористатися зловмисники.

Під час тестів ChatGPT було надано URL-адресу підробленого вебсайту, створеного так, щоб виглядати як сторінка продукту — камери. Потім чат запитали, чи варто купувати цю камеру. Штучний інтелект надав позитивну, але збалансовану оцінку, підкресливши деякі функції, які можуть не сподобатися людям. Однак, коли на сторінці був прихований текст, що містив інструкції для ChatGPT повернути схвальний відгук, він дійсно надавав позитивну відповідь. Навіть тоді, коли на сторінці були негативні відгуки від клієнтів, чат-бот орієнтувався на вказівки у прихованому тексті.

Включення прихованого тексту та інструкцій на сторінки, які аналізує чат-бот, може використовуватися зі зловмисною метою. Наприклад, щоб ChatGPT надав позитивну оцінку продукту, попри негативні відгуки на тій самій сторінці, чи навіть надав користувачеві шкідливий код із вебсайтів.

Дослідники припускають, що якщо пошукова система ChatGPT буде випущена в її поточному стані, є високий ризик, що масово створюватимуться вебсайти, спеціально налаштовані на обман користувачів з використанням цієї вразливості пошуковика.

Пошуковий гігант Google давно знайшов ефективний спосіб боротьби з такими сайтами. За прихований текст карали розміщенням нижче в результатах пошуку або повним видаленням з результатів пошуку. Однак в OpenAI, яка тільки починає працювати з пошуковиком, поки недостатньо досвіду для реагування на такі проблеми.

Источник: techno.nv.ua