Американські та британські розробники створили додаток, в якому користувач може зробити малюнок і відразу ж отримати зображення, створене нейромережею на його основі. Алгоритм складається з двох частин, одна з яких домальовує малюнок, а друга перетворює домальовану картинку в фотографію. Розробка буде представлена на конференції ICCV 2019. Про це повідомляє УНН спираючись на статтю про цю технологію, що була опублікована на arXiv.org.

“Протягом останніх років розробники створили безліч алгоритмів для генерації зображень, які деколи складно відрізнити від реальних фотографій. Наприклад, помітних результатів досягли розробники з NVIDIA, навчили нейромережі синтезувати фотографії неіснуючих людей, а також реалістичні відеоролики. Пізніше розробники стали створювати доступні звичайним користувачам програми, в яких т перетворити простий начерк або кольоровий малюнок в фотореалістичні зображення. Однак ці програми працюють або не в реальному часі, або вимагають від користувача самостійно малювати повний нарис”, — йдеться у повідомленні порталу.

Таким чином, розробники під керівництвом Елі Шехтман з Adobe Research створили додаток, який в реальному часі самостійно домальовує малюнок і перетворює його в синтезовану фотографію. Додаток складається з двох вікон і допоміжних кнопок. У першому вікні користувач малює начерк, а в другому бачить створене нейромережею зображення. Для початку користувач вибирає клас об’єкта, наприклад, ананас, і алгоритм відразу ж видає типовий для нього малюнок. Після початку малювання нейромережа постійно оновлює начерк, доповнюючи частина, намальовану користувачем.

Автори розбили проблему на дві частини і використовували для її вирішення зв’язку з двох генеративно-змагальних нейромереж. На першому етапі алгоритм, навчений на начерках певного класу, отримує первісний начерк користувача і домальовує його до повного. На другому етапі на основі домалювати начерку формується реалістичне зображення.

Розробники створили власну базу для навчання нейромереж, що складається з фотографій і начерків об’єктів десяти типів. Начерки створювалися автоматично на основі контурів об’єктів на фотографіях. У своїй роботі автори провели тестування двох схем, і створили не тільки десять окремих нейромережевих моделей для кожного класу, а й многоклассовий генератор, який створює різні зображення в залежності від умовного вектора.

Як відзначають у виданні, цікавим є те, що існує і зворотний проект, який перетворює фотографії в ескізи.

“У минулому році австралійський інженер створив картонну камеру, яка після натискання кнопки знімає фотографію, перетворює її в начерк, а потім відразу ж друкує на вбудованому термопринтері”, — резюмує портал.

Источник: unn.com.ua