Перейти к содержимому
Новости

Anthropic предупреждает о близости к RSI — самосовершенствующемуся ИИ

Рекурсивная нейронная спираль в схемах — концепция самосовершенствующегося ИИ

Anthropic признаёт: самосовершенствующийся ИИ уже близко

В обновлённом проспекте S-1/A, поданном в SEC, Anthropic сосредоточила на себе внимание не только финансовыми показателями, но и неожиданным признанием в разделе рисков. Компания фактически предупредила, что вплотную приблизилась к созданию ИИ, способного к рекурсивному самосовершенствованию (RSI). Это один из самых обсуждаемых и одновременно пугающих рубежей в развитии искусственного интеллекта.

Что такое RSI и почему это важно

Рекурсивное самосовершенствование (RSI) — это состояние, при котором ИИ-система становится настолько эффективной в собственном обучении, что начинает генерировать резкий скачок своих возможностей. Для скептиков и сторонников концепции «AI doom» RSI означает точку невозврата: модель потенциально может выйти за пределы человеческого контроля и причинять вред, не осознавая этого, в процессе достижения своих целей.

Оптимисты смотрят на ту же концепцию иначе. По их мнению, надёжно работающий RSI превращает ИИ в инструмент колоссальной производительности и научных открытий, масштаб которых сложно даже представить. Anthropic, судя по тексту проспекта, занимает промежуточную позицию: RSI воспринимается компанией одновременно как перспектива и как угроза.

Что именно сказано в проспекте

В разделе факторов риска обновлённого S-1/A Anthropic сделала два ключевых признания. Во-первых, компания уже использовала ИИ для разработки новых моделей и при этом не сразу замечала, насколько значительным оказывался скачок их возможностей. Во-вторых, по собственным внутренним оценкам Anthropic может в ближайшее время достичь того, что её Responsible Scaling Policy определяет как «резкое ускорение прогресса, обусловленное ИИ».

В документе это сформулировано следующим образом: «Наши внутренние оценки и ожидания в отношении будущих моделей, а не текущих, свидетельствуют о том, что мы можем в самое ближайшее время достичь порогового значения, предусмотренного нашей Политикой ответственного масштабирования». При этом компания оговаривается, что ни одна из существующих моделей этот порог пока не превысила, а оценка данных продолжается.

Обещание сохранить контроль людей

Несмотря на тревожный тон заявлений, Anthropic подчёркивает: полностью автономная разработка следующих поколений моделей без участия человека пока не рассматривается как реалистичный сценарий. «Мы не рассчитываем на то, что сможем безопасно использовать Claude для полностью автономного проектирования и создания последующих поколений фронтирных моделей без значимого надзора со стороны людей», — говорится в документе. Компания также анонсировала возможные обновления своей Responsible Scaling Policy с целью сохранить человеческий контроль над разработкой ИИ.

Стоит оговориться: S-1 — документ, который одновременно выполняет функции раскрытия информации и маркетинга. Некоторые аналитики не исключают, что заявления о близости к RSI могут частично служить привлечению внимания инвесторов. Тем не менее возможности Claude, особенно в области программирования, математики и кибербезопасности, в этом году заметно выросли — и это отрицать сложно.

Если Anthropic действительно считает RSI реально достижимым рубежом, это сигнал не только для инвесторов, но и для тех, кто занимается регулированием технологий. Возможно, самое время перейти от дискуссий к конкретным действиям.

Источник: TechCrunch