Большие языковые модели (LLM) традиционно воспринимаются как генераторы текста. Однако, проявив изобретательность, можно заставить их выполнять куда более сложные задачи. Так, разработчик Андреа Риччи нашёл способ научить модель Claude Sonnet играть в классический шутер DOOM. Для этого была адаптирована игра под платформу SCINTIX P4 – одноплатный компьютер на базе Raspberry Pi CM4/CM5 с процессорами ESP32-P4 и ESP32-C6. Игра запускается на P4 и выводится на MIPI DSI дисплей с разрешением 1024×600. Однако, вместо непрерывного потока кадров, игра передаёт их модели Claude Sonnet по WebSocket лишь пошагово, имитируя восприятие человека. LLM получает информацию об игровом мире и самостоятельно генерирует команды движения и стрельбы. Система демонстрирует впечатляющую способность: Claude в основном точно описывает окружение, перемещается по уровням, открывает двери и стреляет по противникам. Для помощи модели в ориентации использованы специальные методы: веерное картирование глубины для определения стен и предотвращения столкновений, а также ASCII-автокарта для отслеживания пройденных участков. Важно, что LLM играет без каких-либо дополнительных подсказок, кроме тех, что доступны обычному игроку. Этот проект показывает, как текстовые модели могут адаптироваться к визуальному восприятию и взаимодействию с графическими средами, открывая новые горизонты для применения искусственного интеллекта.