«Всё может выйти из-под контроля»: уход исследователя Anthropic вскрыл страхи разработчиков ИИ

Из американской Anthropic — одного из главных мировых разработчиков искусственного интеллекта — ушёл исследователь Джейкоб Коксон, занимавшийся обучением нейросетей. 27-летний учёный объяснил это страхом перед технологической гонкой — по его мнению, компании спешат создать неконтролируемый суперинтеллект, который представляет угрозу для человечества.
Коксон отметил, что в отрасли для описания нынешних темпов разработки всё чаще используют термины вроде «решающий момент» или «эндшпиль».
«Мы движемся по наиболее агрессивному сценарию, при котором уже к концу следующего года ситуация может выйти из-под контроля. Когда компании конкурируют друг с другом и с китайскими стартапами, компромиссы в вопросах безопасности становятся неизбежными», — цитирует его The Wall Street Journal.
Он добавил, что ранее перешёл в Anthropic (известной по чат-боту Claude) из OpenAI (другой ведущей компании в этой сфере, прежде всего известной по ChatGPT) — именно ради высокой культуры безопасности. Однако теперь Коксон убеждён — ни одна лаборатория не способна безопасно создать искусственный общий интеллект (который бы превосходил человеческие возможности практически во всех когнитивных задачах) без вмешательства государств или общего замедления отрасли.
Недавние случаи, когда модели OpenAI и Anthropic самостоятельно проводили кибератаки, в том числе действуя в составе групп агентов, показали, что ИИ-системы могут преследовать опасные цели и пытаться скрывать свои намерения от людей. Коксон опасается, что, получив способность самостоятельно совершенствоваться, такие системы однажды смогут развиться настолько, что начнут отказываться выполнять команды человека.
Поддержка внутри компании и реакция экспертов
Оценку Коксона поддержали и некоторые его коллеги. Ведущий учёный Anthropic Эван Хьюбингер публично согласился с риском катастрофических последствий:
«Я искренне верю, что ИИ может погубить человечество — с вероятностью более 10% уже в ближайшее десятилетие. Считаю, что Anthropic старается изо всех сил, но у нас пока нет плана, как решить проблему контроля над суперинтеллектом, и мы явно не на пути к нему», — написал Хьюбингер.
Коксон стал одним из первых сотрудников Anthropic, публично уволившихся из-за опасений за безопасность, хотя из OpenAI по аналогичным причинам ранее уже ушли несколько инженеров. Идею государственного регулирования поддержал и губернатор штата Иллинойс Джей Роберт Прицкер, призвав Вашингтон и технологические компании немедленно принять меры по ограничению гонки ИИ.
Тревога в руководстве OpenAI и гонка инвестиций
Предупреждения звучат и со стороны руководства других гигантов индустрии. Глава OpenAI Сэм Альтман на встрече с представителями G20 заявил о серьёзных рисках для кибербезопасности, а главный научный сотрудник OpenAI Якуб Пачоцки призвал к скоординированному замедлению разработки:
«Настало время максимальной осторожности. Меня беспокоит, что никто не готов к последствиям столь быстрого роста машинного интеллекта», — отметил специалист.
Ситуация осложняется тем, что увольнение происходит на фоне подготовки Anthropic к выходу на биржу, где компанию могут оценить в 2 трлн долларов. При этом на федеральном уровне в США до сих пор отсутствуют единые жёсткие правила регулирования ИИ. Так, администрация Трампа сознательно делает ставку на минимальное регулирование ради экономических выгод.
Сам Коксон с иронией описал, как сегодня принимаются решения, способные изменить будущее человечества:
«Довольно безумно, что эти дискуссии ведутся в рабочем мессенджере Slack на ноутбуках нескольких инженеров в Сан-Франциско, а не в подземном бункере в пустыне, как это было во времена Манхэттенского проекта [по разработке ядерного оружия]».
Читайте также:
- Чат-боты должны представляться, дипфейки — маркировать: какие правила ИИ заработали в Евросоюзе
- Технологии, инвестиции и искусственный интеллект: Moldova Digital Summit собрал в Кишинёве около 2 тысяч участников
- Каждый третий студент в Молдове списывает и использует ИИ на экзаменах — исследование Минобразования
nokta