Энтузиаст создал в Minecraft рабочую версию языковой модели в стиле ChatGPT

Пользователь под ником sammyuri, известный своими масштабными проектами из редстоуна, представил свое новое творение — полнофункциональную языковую модель CraftGPT, построенную целиком в мире Minecraft без использования командных блоков или датапаков.

Внушительная постройка представляет собой малую языковую модель с более чем пятью миллионами параметров, которая была обучена в Python на наборе данных с простыми диалогами. Вся архитектура, включающая токенизатор, 6 слоев нейросети, матричные умножители и кэш, реализована с помощью механизмов из редстоуна. Общий объем памяти внутриигрового компьютера превышает 6 мегабайт, а сама конструкция занимает пространство размером 1020x260x1656 блоков.

Модель способна вести простые диалоги, отвечать на базовые вопросы и даже давать разные ответы на один и тот же вопрос в зависимости от заданных условий. Из-за ограничений движка игры, на генерацию одного ответа уходит около двух часов, но только при использовании специального сервера, который ускоряет игровые такты в 40 000 раз. В обычном режиме на это ушли бы годы.

Автор проекта поделился файлами мира для загрузки, а также эмулятором и инструкциями для всех, кто захочет самостоятельно запустить CraftGPT.