В экосистеме устройств на базе Apple и чипов Apple Silicon появилась информация о методе, позволяющем задействовать Neural Engine (ANE) для локального обучения нейросетевых моделей. Ранее этот блок в основном использовался для ускорения инференса, тогда как обучение моделей оставалось вне его официальных сценариев применения.

По данным разработчика, известного под псевдонимом @0x0SojalSec, удалось обойти ограничения, которые Apple применяет к работе ANE в чипах M-серии, включая M4. Сообщается, что это позволило задействовать вычислительные ресурсы уровня до 15,8 TFLOPS для задач обучения, включая обратное распространение ошибки в трансформерных моделях.

Вместо стандартных инструментов вроде Core ML или Metal исследователи использовали собственный промежуточный язык Model Intermediate Language (MIL), обеспечивающий прямое взаимодействие с Neural Engine. Также отмечается, что вычисления выполняются преимущественно в оперативной памяти, чтобы снизить задержки, связанные с обращением к накопителю.

Дополнительно описан механизм восстановления процесса обучения при зависаниях с перезапуском и сохранением состояния, что позволяет продолжать обучение без потери прогресса.

Сообщается, что проект опубликован в открытом доступе и демонстрирует возможность запуска отдельных этапов обучения нейросетей на аппаратных возможностях ANE с минимальной зависимостью от стандартных фреймворков. В тестах отмечается высокая скорость выполнения отдельных операций на чипах M-серии.

Официально Apple не предоставляет поддержку обучения моделей на Neural Engine, позиционируя его как блок, предназначенный для ускорения инференса с производительностью до 38 TOPS. Обнаруженный подход показывает, что аппаратные возможности платформы могут быть шире заявленных сценариев использования.