Meta представляє нову серію моделей AI Llama 4 – ForkLog UA

Корпорація Meta представила нову серію відкритих моделей штучного інтелекту Llama 4. Внутрішнє тестування показало, що вони перевершують своїх конкурентів у різних тестах.

Ця серія ґрунтується на Llama 4 Behemoth, великій мовній моделі (LLM), що містить 2 трильйони параметрів. Наразі він навчається і ще не запущений. Розробники та користувачі можуть отримати доступ до двох його мультимодальних дистиляцій під назвами Maverick і Scout.

Meta AI, помічник зі штучним інтелектом, інтегрований у такі продукти компанії, як WhatsApp, Messenger і Instagram, уже покращено для використання Llama 4 у 40 країнах. Однак мультимодальні можливості наразі обмежені США.

Повідомляється, що Behemoth, який є наставником LLM для двох інших моделей, перевершує GPT-4.5, Claude Sonnet 3.7 і Gemini 2.0 Pro у орієнтованих на STEM тестах, таких як MATH-500 і GPQA Diamond.

“Це лише початок для серії Llama 4. Ми переконані, що найдосконаліші системи повинні бути здатні виконувати загальні завдання, природно взаємодіяти з окремими особами та вирішувати складні проблеми, з якими вони раніше не стикалися. Наділення Llama розширеними можливостями в цих сферах полегшить розробку чудових продуктів для користувачів на наших платформах і розширить потенціал розробників для інновацій у майбутніх споживачах і бізнесі. секторах», – повідомили в компанії.

Нова архітектура

Llama 4 — це перша серія моделей для реалізації структури Mixture of Experts (MoE) . Maverick містить 128 «експертів» із загальною кількістю 400 мільярдів параметрів, хоча лише 17 мільярдів активно використовуються. Scout складається з 16 експертів із загальною сумою 109 мільярдів і 17 мільярдів відповідно.

Характеристики нейронних мереж з лінійки Llama 4. Дані: мета.

Згідно з внутрішніми оцінками компанії, Maverick перевершує такі моделі, як GPT-4o та Gemini 2.0, у кількох тестах на програмування, міркування, підтримку мови, довгий контекст і обробку зображень. Однак він не відповідає можливостям більш просунутих Gemini 2.5 Pro від Google, Claude 3.7 Sonnet від Anthropic і GPT-4.5 від OpenAI.

Maverick більше підходить для програм помічника для спільної роботи та чату, тоді як Scout чудово підходить для узагальнення документів і розгорнутих завдань на обґрунтування. Останній може працювати на одному графічному процесорі Nvidia H100, тоді як Maverick потребує системи Nvidia H100 DGX або подібної установки.