Команда науковців з Університету Карнегі-Меллона представила LegoGPT — перший у своєму роді ШІ-інструмент, здатний створювати фізично стабільні та придатні для збирання конструкції з LEGO на основі текстового запиту. Алгоритм генерує цілісні об’єкти з детальним кольоровим оздобленням, які можуть бути зібрані вручну або за допомогою роботизованих маніпуляторів.

Про це йдеться на Github.

Як працює модель LegoGPT

Розробка базується на великомасштабному датасеті StableText2Lego, що містить понад 47 тисяч LEGO-конструкцій, які представляють понад 28 тисяч унікальних 3D-об’єктів. Кожен зі зразків супроводжується описами, створеними за допомогою моделі GPT-4o на основі візуалізацій конструкцій з 24 ракурсів.

Під час генерування LegoGPT перетворює текстовий опис користувача у послідовність інструкцій для складання конструкції, додаючи по одній цеглинці. Система перевіряє коректність кожного елемента, перш ніж додати новий, а також перевіряє відповідність бібліотеці цеглинок та фізичну доцільність розміщення. Модель може виявити, що конструкція нестабільна під час її створення, тоді всі нестійкі частини автоматично видаляються, і процес повторюється з останнього надійного стану.

Окрім генерації самих моделей, дослідники реалізували механізм «текстурування» — візуального оформлення LEGO-моделей відповідно до заданого стилю або кольорової гами.

Розробка вже довела свою ефективність у створенні візуально привабливих, стійких конструкцій, які точно відповідають початковим текстовим запитам. У відкритому доступі також з’явився код проєкту, навчені моделі та сам датасет StableText2Lego, що відкриває широкі можливості для подальших досліджень у сфері генеративного дизайну та освітнього використання LEGO.

Источник: novyny.live