Фахівці Multiverse Computing повідомили про досягнення квантового вдосконалення великої мовної моделі на апаратному забезпеченні IBM. Це було здійснено за допомогою гібридної архітектури, яка залучає 156-кубітний процесор Heron.
Автори експерименту охарактеризували його як перший «комплексний квантовий приріст» LLM, реалізований на надпровідному процесорі для авторегресійної генерації текстових даних.
Для проведення тестів була використана модель Llama 3.1 8B від Meta. Базова модель не проходила додаткового тренування; її параметри були зафіксовані, а потім інтегровані квантові адаптери — Cayley-parameterized unitary adapters (CUA). Спочатку ці адаптери навчалися класичними методами, а потім були підключені до гібридної квантово-класичної системи.
Дослідження проводилося на IBM Quantum System Two — платформі, призначеній для гібридних квантових систем. У процесі було задіяно 156-кубітний чип Heron.
Гібридна версія призвела до зменшення показника перплексії Llama 3.1 8B на 1,4%. Це було досягнуто шляхом додавання приблизно 6000 параметрів, що становить близько 0,000075% від загального обсягу моделі.
Під час демонстрації покращена квантовим методом версія Llama успішно відповіла на питання з галузей астрономії та біології, з якими базова версія не впоралася (наприклад, щодо наявності кілець у всіх планет-гігантів).
За словами провідного автора дослідження Борхи Айспуруа, ця робота слугує підтвердженням концепції. Квантові компоненти дозволили досягти вищої точності прогнозування наступного токена в тексті при мінімальних витратах обчислювальних ресурсів.
Команда розраховує на подальше зниження перплексії та підвищення точності при використанні меншої кількості параметрів порівняно з повністю класичними підходами.
Варто зазначити, що у травні спостерігалося зростання котирувань компаній, що займаються квантовими технологіями, після оголошення Міністерства торгівлі США про виділення 2 мільярдів доларів американським фірмам у рамках програми CHIPS R&D.