Когда ИИ начинает создавать ИИ: человечество входит в самую опасную фазу технологи

Anthropic — одна из ведущих компаний в сфере искусственного интеллекта — фактически призвала индустрию заранее подготовить механизм замедления или временной паузы в разработке самых мощных моделей, если станет ясно, что системы начинают улучшать себя быстрее, чем общество способно контролировать последствия.

Это важный момент.

Речь не о страхах типа «роботы захватили мир». Речь о гораздо более тонком и опасном процессе.

Я сам активно использую ИИ в своих бизнесах и, честно говоря, уже не представляю, как сегодня можно сознательно избегать эту технологию.
Избегать ИИ сегодня — это примерно как в своё время отказаться от мобильной связи, электронной почты или интернета.

Компания, которая сознательно игнорирует ИИ, почти гарантированно становится аутсайдером. Потому что её конкуренты уже работают быстрее, дешевле, гибче и умнее.

Но именно здесь и появляется главный парадокс, с одной стороны, ИИ нельзя игнорировать, но с другой согласно многих создателей ИИ-платформ, включая Дарио Амодеи и Илона Маска, утверждают, что его нельзя развивать без правил.

Если траекторию "игры без правил" продолжить, возникает сценарий рекурсивного самоулучшения, то есть ИИ начнет не просто помогает человеку создавать новую модель, контролировать бизнес-процессы, или науку, он сам начнает проектировать, обучать, тестировать и улучшать следующую версию ИИ. А затем следующая версия делает то же самое ещё быстрее.

И вот здесь появляется риск, который невозможно сравнить с обычными технологическими революциями.
Промышленная революция ускорила производство.
Интернет ускорил распространение информации.
ИИ может ускорить само мышление, изобретение и разработку новых технологий.

А если технология начинает улучшать саму себя, скорость изменений может выйти за пределы человеческого управления.
И тут Anthropic говорит, что самое опасное — потеря контроля над темпом.

Общество, законы, экономика, образование, рынок труда, безопасность, международные институты — всё это движется медленно. А ИИ развивается экспоненциально.

И если через 1–2 года мы действительно увидим системы, способные автономно выполнять работу исследователей и разработчиков ИИ, человечество может оказаться в ситуации, где правила ещё не написаны, а игра уже изменилась.

Здесь есть три возможных взгляда.
Первый — панический: всё нужно немедленно остановить.
Второй — наивный: рынок сам всё отрегулирует.
Третий — рациональный: развитие ИИ нельзя просто запретить, но его нельзя и оставлять исключительно в руках гонки корпораций и государств.

Проблема в том, что односторонняя пауза одной компании ничего не решит. Если один игрок остановится, другой продолжит. Если одна страна введёт ограничения, другая может использовать это как шанс вырваться вперёд.
Поэтому вопрос уже не только технологический. И даже не только бизнесовый.

Это цивилизационный вопрос.

Нужны международные правила, прозрачность, независимый аудит, контроль вычислительных мощностей, красные линии для автономных систем и ответственность компаний, которые создают модели, способные влиять на будущее всего человечества.

Однако, ГДЕ ГАРАНТИЯ, что эти правила не будут нарушены какой-либо страной?

ИИ может стать величайшим инструментом прогресса: в медицине, науке, образовании, энергетике, управлении сложными системами и бизнесе.
Но, когда технология начинает участвовать в создании самой себя, возникает много вопросов. Заметьте, наибольшую обеспокоенность выражают как раз те, кто стоит у истоков этой технологии.