Apple заявила: iPhone способны запускать ИИ-модели с 14 млрд активных параметров, а Mac - свыше 1,6 трлн параметров

Apple утверждает, что благодаря более быстрой памяти и двум Neural Engine её устройства способны локально запускать всё более крупные ИИ-модели. По данным компании, iPhone и iPad с 16 ГБ объединённой памяти могут работать с моделями на 14 млрд активных параметров.

MacBook Air и Mac mini с объёмом объединённой памяти до 64 ГБ и пропускной способностью до 307 ГБ/с, по данным Apple, подходят для моделей до 70 млрд активных параметров. MacBook Pro с 128 ГБ памяти способен работать с моделями до 120 млрд параметров.

Mac Studio с M5 Ultra предлагает до 512 ГБ объединённой памяти и пропускную способность до 1,2 ТБ/с, что позволяет запускать модели примерно до 480 млрд параметров. Кластер из четырёх таких систем с суммарной памятью до 2 ТБ способен работать с моделями свыше 1,6 трлн параметров.

При этом подобная конфигурация обойдётся очень дорого. Wccftech отмечает, что четыре Mac Studio могут стоить более $43 тысяч, а для запуска моделей примерно на 1 трлн параметров может потребоваться кластер из восьми систем стоимостью свыше $86 тысяч.

Также издание обращает внимание, что Apple не уточнила, какие конкретно LLM использовались в этих расчётах и какую степень квантизации способны поддерживать разные устройства.