Цифровые технологии и жизнь

[azazella177 06]

Искусственный интеллект «может погубить все человечество» в ближайшее десятилетие, считает эксперт в области безопасности использования ИИ в компании Anthropic Эван Хьюбингер.

 По его оценкам, вероятность такого развития событий составляет порядка 10%.

В своем посте в X Эван Хьюбингер отметил, что риски, связанные с существующими на данный момент ИИ-моделями, невелики. Однако с учетом стремительного развития ИИ-технологий новые модели могут достигнуть такого уровня самостоятельности, что начнут представлять угрозу для существования человечества.

Это заявление прозвучало на фоне сообщений газеты Financial Times о том, что компания Anthropic не предоставила доступ к своей новейшей модели Британскому институту безопасности ИИ (AISI) — одной из ведущих организаций, занимающихся оценкой рисков, связанных с искусственным интеллектом.

Би-би-си обратилась в Anthropic за комментариями.

Хьюбингер не стал подробно описывать, каким именно образом системы ИИ могли бы в будущем атаковать человечество.

Его слова стали реакцией на пост в X Джейкоба Коксона, эксперта в области ИИ, который на этой неделе уволился из Anthropic (ранее он работал в OpenAI).

«Ни одна из этих компаний не ведет себя ответственно», — написал Джейкоб Коксон, комментируя свое решение покинуть Anthropic .

https://www.bbc.com/russian/articles/c804d1nv8r2o

[azazella177 06]

Его слова стали реакцией на пост в X Джейкоба Коксона,

Бывший исследователь Anthropic (которая разрабатывает языковую модель Claude) Джейкоб Коксон и специалист по безопасности из этой же компании Джо Бентон на днях уволились и практически в один голос вещают о том, что развитие передовых ИИ-систем создаёт для людей риски беспрецедентного масштаба.

 Они прямо говорят, что технологии, которые разрабатывают Anthropic и OpenAI, могут привести к уничтожению человечества уже в ближайшие четыре года.


Поясняют: нынешние механизмы безопасности не соответствуют скорости развития искусственного интеллекта, если эту динамику не остановить, то она "может опередить" способность человека "понимать и контролировать эти системы".

У них уже скоро могут возникнуть цели и стремления, расходящиеся с намерениями людей-контролёров. Одним из главных рисков оба называют сценарий, когда ИИ станет достаточно хорош, чтобы создавать собственных более мощных ИИ-преемников уже без участия человека (RSI - рекурсивное самоулучшение, в сети ходят слухи, что Google уже удалось этого достичь).


При этом Дарио Амодеи, глава компании Anthropic сегодня заявил: через 6-12 месяцев ИИ сможет захватить весь интернет и нанести ущерб в сотни миллиардов долларов. Правда, кивает он в сторону конкурентов из OpenAI. Но идею бывших сотрудников поддерживает: необходимо замедлить темпы развития искусственного интеллекта для решения проблем с контролем над ним.