Büyük dil modelleri (LLM'ler) geleneksel olarak metin üreticileri olarak görülür. Ancak, yaratıcılık gösterilerek, onları çok daha karmaşık görevleri yerine getirmeye zorlamak mümkündür. Geliştirici Andrea Ricci, Claude Sonnet modeline klasik nişancı oyunu DOOM'u oynamayı öğretmenin bir yolunu buldu. Bunun için oyun, ESP32-P4 ve ESP32-C6 işlemcili Raspberry Pi CM4/CM5 tabanlı tek kartlı bir bilgisayar olan SCINTIX P4 platformuna uyarlandı. Oyun P4 üzerinde çalıştırılır ve 1024×600 çözünürlüklü MIPI DSI ekrana yansıtılır. Ancak, sürekli bir kare akışı yerine, oyun kareleri WebSocket üzerinden Claude Sonnet modeline yalnızca adım adım iletilir, bu da insan algısını taklit eder. LLM, oyun dünyası hakkında bilgi alır ve bağımsız olarak hareket ve ateş etme komutları üretir. Sistem etkileyici bir yetenek sergiliyor: Claude çoğunlukla çevreyi doğru bir şekilde tanımlıyor, seviyelerde ilerliyor, kapıları açıyor ve düşmanlara ateş ediyor. Modele yön bulma konusunda yardımcı olmak için özel yöntemler kullanıldı: duvarları belirlemek ve çarpışmaları önlemek için yelpaze şeklinde derinlik haritalaması ve geçilen alanları izlemek için bir ASCII otomatik haritası. Önemli olan, LLM'nin sıradan bir oyuncunun sahip olduğu ipuçları dışında herhangi bir ek ipucu olmadan oynamasıdır. Bu proje, metin modellerinin görsel algıya nasıl uyum sağlayabileceğini ve grafik ortamlarla nasıl etkileşim kurabileceğini göstererek yapay zeka uygulamaları için yeni ufuklar açıyor.