Как сравнивать ускорители ИИ по открытым данным

Две спецификации могут показывать похожую производительность, но это ещё не значит, что два ускорителя одинаково быстро обучат одну и ту же нейросеть. Чтобы сравнить их по открытым данным, нужно сначала выяснить, в каком формате считали, что именно описывает показатель и откуда он взят.

С 2018 года команда Центра суперкомпьютерных вычислений Линкольнской лаборатории Массачусетского технологического института ведёт обзор Lincoln AI Computing Survey (LAICS). В работе 2025 года авторы собрали публично заявленные пиковые показатели производительности и мощности коммерческих ускорителей, показали их на диаграмме и добавили классификацию вычислительных архитектур.

Работа представлена как публикация конференции IEEE HPEC 2025 и связана с DOI 10.1109/HPEC67600.2025.11196427. Страница arXiv содержит аннотацию и ссылки на полный текст в форматах PDF и HTML. В этом обзоре методика и выводы проверяются по аннотации и открытому набору данных, а не по подробному разбору полного текста. Статус публикации связан с выходом работы в материалах конференции IEEE HPEC. Число «более 120 ускорителей» сообщает редакционный материал MIT News, а не доступная аннотация.

Что именно сравнивает LAICS

Обзор собирает коммерческие ускорители, для которых публично объявлены пиковая производительность и пиковая мощность. В наборе данных указаны компания, продукт, производительность, мощность, точность вычислений, форм-фактор и ссылки на источники. Авторы размещают показатели на диаграмме рассеяния, рассматривают рыночные сегменты и описывают новые устройства.

Точность вычислений здесь не второстепенная пометка. INT8 и FP16, например, обозначают разные форматы представления чисел; для одного устройства могут быть указаны отдельные значения производительности в каждом формате. В открытом наборе такие значения записаны отдельно. Сравнивать их напрямую нельзя: цифры относятся к разным условиям вычислений.

Важно и то, какой уровень устройства описан в строке: чип, карта или система. В обзоре эти форм-факторы представлены отдельно. Поэтому показатель системы, куда могут входить несколько устройств, не следует трактовать как характеристику одного чипа.

Пиковая производительность из спецификации также не равна скорости конкретной программы. По аннотации и открытым полям LAICS видно, что обзор сводит заявленные пиковые показатели и сопоставляет их на диаграмме. Из этих данных нельзя определить, как быстро устройство обучит конкретную модель или с какой задержкой обработает запросы. Единые испытания на одной задаче в доступных материалах не представлены.

Что остаётся за пределами таблицы

Данные обзора собраны из публичных объявлений и публикаций. Некоторые компании не раскрывают показатели производительности и мощности. Поэтому отсутствие устройства в таблице не доказывает, что его нет на рынке или что оно уступает конкурентам: возможно, его характеристики просто не опубликованы.

Источники неоднородны. В наборе есть ссылки на сайты производителей, технические издания и исследовательские работы. По доступным описаниям нельзя установить, как проверяли каждое значение и разрешали расхождения между источниками. Открытый набор полезен тем, что позволяет проследить происхождение записей, но его показатели не следует считать результатами независимых лабораторных измерений.

MIT News сообщает, что первая работа серии рассматривала 57 ускорителей, а работа 2025 года охватила более 120. Это число приводится в редакционной публикации; в доступной аннотации статьи его нет.

Как читать и применять показатели

При первичном сравнении проверьте точность вычислений, форм-фактор и источник каждого показателя. Лишь после этого имеет смысл сопоставлять пиковую производительность и мощность. Если нужно выбрать устройство для конкретной задачи, сравнивать его следует на одинаковой нагрузке: с одной моделью, одинаковыми настройками точности и сопоставимым учётом энергопотребления. В аннотации и открытом наборе LAICS описано сравнение публичных пиковых показателей, а не такие испытания.

Отношение заявленной производительности к мощности тоже не даёт полной оценки энергоэффективности. Без сведений о том, как получены числа и какую именно работу они отражают, это лишь отношение паспортных значений. Для практического выбора важнее знать, сколько времени и энергии устройство тратит на нужную задачу.

Та же осторожность нужна при чтении научных результатов: достоверность исследования зависит от того, что именно измеряли и на каких данных основан вывод.

LAICS помогает увидеть, какие ускорители и показатели описаны в открытых источниках, и отобрать устройства для дальнейшего сравнения. Универсального рейтинга скорости на реальных задачах из этих спецификаций не получается. Для ответа на вопрос о конкретной модели нужны сопоставимые испытания именно на нужной нагрузке.