На вихідних компанія Meta представила дві нові моделі штучного інтелекту Llama 4 – Scout і Maverick. Вони, за словами компанії, виявились кращими в порівнянні з відомими моделями GPT-4o та Gemini 2.0 Flash. Однак виявилося, що статистика від Meta може бути обманливою, як повідомляє The Verge.
У прес-релізі Meta підкреслила успіх моделей у рейтингу LMArena, де користувачі порівнюють ШІ-моделі в чаті та голосують за найкращі. Maverick посіла друге місце з рейтингом 1417, випереджаючи GPT-4o від OpenAI і трохи поступаючись Gemini 2.5 Pro.
Проте виявилося, що тестувалася не публічна версія моделі, а експериментальний варіант, оптимізований для розмовної взаємодії. Meta не відразу повідомила про це, але пізніше підтвердила використання спеціальної версії моделі. LMArena звинуватила Meta в нечесності та почала оновлювати правила, щоб уникнути подібних ситуацій у майбутньому. Компанія вважає, що коли постачальники ШІ можуть надавати спеціально підготовлені версії для тестування, одночасно випускаючи інші для широкої громадськості, то рейтинги, як LMArena, можуть бути менш вірогідними як оцінка реальної продуктивності моделей.
