ИИ-модель DeepSeek R1 заработала на суверенных китайских ускорителях Sophgo

Высокий спрос на ускорители вычислений Nvidia и других популярных марок сам по себе ограничивает их доступность, а в случае с китайскими разработчиками систем ИИ всё усугубляется американскими санкциями. Нет ничего удивительного, что в сложившихся условиях они предпочли опираться на ускорители местного происхождения, для DeepSeek в этом смысле подошли ускорители Sophgo.

По крайней мере, об их успешном применении докладывает South China Morning Post со ссылкой на заявления Sophgo. Ускорители SC11 FP300 этой компании, по данным китайской лаборатории CTTL, продемонстрировали высокое быстродействие и стабильную работу в задачах, связанных с формированием логических выводов (инференсе) при использовании большой языковой модели DeepSeek R1. Подобные задачи требуют меньших вычислительных ресурсов по сравнению с этапом обучения больших языковых моделей.

Ускоритель FP300 был выпущен Sophgo в прошлом году, он оснащается 256 Гбайт высокоскоростной памяти, обеспечивающей пропускную способность до 1,1 Тбайт/с, технически он пригоден и для обучения больших языковых моделей. В то же время, данное аппаратное решение всё же в большей мере заточено под работу с рассуждающими моделями.

Как отмечалось ранее, китайской компании DeepSeek уже пришлось задержать выпуск своей модели R2, который был намечен на май, из-за проблем с доступом к вычислительным ресурсам, необходимым для её обучения. Китайская компания iFlyTek, между тем, уже сообщила о полном переходе на ускорители вычислений Huawei. Китайские решения серии Ascend 910B позволяют добиться эффективности вычислений на уровне 73 % против 25 %, которые были доступны при использовании Nvidia A800 в конце прошлого года. Правда, миграция на китайские ускорители всё же вызвала задержку в выпуске новых языковых моделей на три месяца. Компании iFlyTek и Sophgo находятся под различными санкциями США, поэтому им невольно приходится сближаться для достижения поставленных целей в условиях внешних ограничений.

Источник