Генеративные модели искусственного интеллекта умеют создавать впечатляющие 3D-объекты по текстовому описанию, но часто эти творения оказываются лишь красивой оболочкой, непригодной для реального использования. Например, сгенерированная чашка может выглядеть как произведение искусства, но не держать жидкость. Исследователи из MIT, Google и Northeastern University представили InstructMesh — инструмент, который ломает этот барьер, позволяя пользователям не только генерировать, но и дорабатывать 3D-модели, делая их функциональными.
InstructMesh объединяет систему TRELLIS для создания 3D-моделей из текста и изображений с языковой моделью GPT-4. Это позволяет пользователям описывать желаемые изменения естественным языком. Если сгенерированная модель очков имеет неровные линзы, достаточно указать это, и система предложит исправления. В результате удалось создать чашку с ручкой в виде дракона, свисток в форме ракушки или очки с крыльями бабочки. Более того, инструмент помог создать функционального робота-«бристолбота» в виде креветки и даже наколенник, стилизованный под джинсовую ткань.
Новизна InstructMesh в том, что он делает 3D-моделирование доступным для непрофессионалов. Испытания показали, что даже новички, не имеющие опыта в 3D-дизайне, смогли выявлять и исправлять ошибки в моделях с точностью около 90%. Это означает, что теперь любой человек может воплотить в жизнь свои идеи, будь то персонализированный брелок или прототип устройства, без необходимости осваивать сложные программы.
Разработчики видят будущее InstructMesh в интеграции с дополненной реальностью, где пользователь сможет генерировать и печатать нужные объекты прямо в своём окружении. Также планируется добавить физическое моделирование для предсказания поведения объекта в реальных условиях. Это шаг к тому, чтобы ИИ-генерация стала не просто развлечением, а полноценным инструментом для творчества и инженерии.