Skip to content

How Can AI Learn to Be Safe? Russian

Published:
July 17, 2019
Author:
Revathi Kumar

Contents

Как ИИ может научиться быть безопасным?


Click here to see this page in other languages: English US_Flag

По мере совершенствования искусственного интеллекта машины вскоре будут оснащены интеллектуальными и практическими возможностями, превосходящими самых умных из людей. Они будут не только более способными, чем люди, но также смогут самосовершенствоваться. То есть, они поймут свое собственное устройство и найдут способы, как его улучшить – или вовсе начнут создать совершенно новые машины, превосходящие их по возможностям.

Ученые, занимающиеся разработкой и созданием ИИ, должны быть уверены, что он останется безопасными для человечества, даже если он будет совершенствоваться и адаптироваться к реальному миру.

Рекурсивное самосовершенствование


Идея автономного агента, улучшающего свой собственный код, называется рекурсивным самосовершенствованием. Благодаря нему ИИ может адаптироваться к новым обстоятельствам и научиться справляться с новыми ситуациями.

В определенной степени, то же самое делает и человеческий мозг. По мере того как человек развивает и повторяет новые привычки, связи в его мозгу могут меняться. Со временем связи становятся сильнее и эффективнее, что облегчает выполнение новых желаемых действий (например, изменение диеты или изучение нового языка). У ИИ, однако, эта способность к самосовершенствованию гораздо более радикальна.

ИИ может обрабатывать информацию намного быстрее человека, и если он не понимает, как его действия влияют на людей, то его новые модификации могут перестать руководствоваться заложенными человеком ценностями.

Для Баса Штойнебринка, исследователя ИИ из швейцарской лаборатории IDSIA, решение этой проблемы является важнейшим шагом на пути к безопасному ИИ.

Создание ИИ в сложном мире


Поскольку мир очень сложен, многие исследователи начинают проекты по созданию ИИ, разрабатывая его в тщательно контролируемых средах. Затем они получают математические доказательства, которые могут гарантировать, что ИИ достигнет успеха в этом заданном пространстве.

Однако Штойнебринк беспокоится, что этот подход возлагает слишком большую ответственность на создателей и слишком доверяет доказательствам, особенно когда речь идет о машинах, которые могут учиться через рекурсивное самосовершенствование. Он объясняет: «Мы не можем точно описать окружающую среду во всей ее сложности; мы не можем предвидеть, в какой среде агент окажется в будущем; и у агента не будет достаточно ресурсов (энергии, времени, данных), чтобы поступить оптимальным образом».

Если машина сталкивается с непредвиденным обстоятельством, то  доказательство, на которое полагался конструктор в контролируемой среде, может быть неприменимо в новых условиях. «У нас нет уверенности в безопасном поведении ИИ», – говорит Штойнебринк.

ИИ, опирающийся на предыдущий опыт


Штойнебринк и его команда используют подход, называемый EXPAI (искусственный интеллект, опирающийся на опыт). EXPAI – это «самосовершенствующиеся системы, которые производят предварительные, аддитивные, обратимые, очень продуманные модификации без предварительного самоанализа; самомодификации проверяются с течением времени эмпирическим путем и поэтапно вводятся в эксплуатацию, когда проходят проверку, или же вовсе отклоняются».

Вместо того чтобы доверять только математическим доказательствам, исследователи могут гарантировать, что ИИ развивает безопасное и доброжелательное поведение, обучая и тестируя машину в сложных, непредвиденных условиях, которые бросают вызов ее функциям и целям.

С EXPAI ИИ будет учиться на интерактивном опыте, и поэтому мониторинг их периода роста имеет решающее значение. Как утверждает Штойнебринк, фокус смещается с вопроса «каково поведение агента, который очень умен и способен к самосовершенствованию, и как нам его контролировать?» на вопрос: «как «вырастить» агента, чтобы он обрел устойчивое понимание и правильные ценности?»

Поразмышляем над тем, как дети растут и учатся самостоятельно ориентироваться в мире. При условии стабильного и счастливого детства дети учатся принимать ценности и понимать свое отношение ко внешнему миру методом проб и ошибок, на примерах. Детство – это время роста и обучения, ошибок, достижений – все это помогает подготовить ребенка к тому, чтобы он стал компетентным взрослым, готовым к непредвиденным обстоятельствам.

Штойнебринк считает, что исследователи могут создать безопасный ИИ через аналогичный, постепенный процесс обучения на основе получения опыта. В архитектурном проекте, разработанном Штойнебринком и его коллегами, ИИ строится «исходя только из небольшого количества заложенного разработчиками кода, который можно сравнить с прорастающим зернышком». Как и ребенок, сначала ИИ будет менее компетентным и менее разумным, но со временем он будет самосовершенствоваться, поскольку будет учиться у мира вокруг.

Поскольку данный подход фокусируется на периоде «роста» автономного агента, учителя, а не программисты, несут наибольшую ответственность за создание надежного и дружественного ИИ. Стадия развития дает исследователям время для наблюдения и корректировки поведения ИИ в контролируемой обстановке, где ставки еще не так высоки.

Будущее EXPAI


Штойнебринк и его коллеги в настоящее время создают то, что он описывает как  «систему преподавания, где разработчики определяют, каким вещам обучать агентов и в каком порядке, как проверять, что агенты усваивают в процессе обучения. В зависимости от результатов их тестирования, они решают, можно ли перейти к следующим шагам обучения либо же необходимо переобучить агента или вовсе начать все заново».

Основной трудностью команды Штойнебринка является то, что их метод обучения отличается от наиболее популярных методов улучшения ИИ. Вместо того чтобы выполнять интеллектуальную работу по разработке оптимального алгоритма обучения на компьютере, EXPAI требует обширной личной работы с машиной, чтобы учить ее фактически как ребенка.

Создание безопасного искусственного интеллекта может оказаться скорее процессом обучения, чем идеальным математическим просчетом. Хотя такой сдвиг в ответственности требует вложения большего количества времени, он также мог бы помочь углубить наше понимание ИИ, прежде чем он войдет в нашу жизнь.

Штойнебринк объясняет: «Впереди еще много работы, прежде чем мы сможем выйти за рамки уровня реализации ИИ и будем двигаться к разработке методологий обучения и тестирования, которые позволяют нам развивать понимание им этических ценностей и гарантировать, что ИИ будет защищать и придерживаться их».

Он признается, что этот процесс – весьма сложный и пугающий, «но эти трудности не сравнятся с последствиями пренебрежения безопасностью».

Если вы хотите узнать больше об исследованиях Баса Штойнебринка, вы можете прочитать о его проекте здесь или посетить сайт http://people.idsia.ch~steunebrink/. Он также является соучредителем проекта NNAISENSE, о котором вы можете узнать на сайте https://nnaisense.com/.

Эта статья является частью серии Института «Будущее Жизни», посвященной грантам на исследования безопасности ИИ, финансируемым благодаря  щедрыми пожертвованиям  Илона Маска и проекта «Открытая филантропия».

Статья переведена Карпуниной Анной

This content was first published at futureoflife.org on July 17, 2019.

About the Future of Life Institute

The Future of Life Institute (FLI) is a global non-profit with a team of 20+ full-time staff operating across the US and Europe. FLI has been working to steer the development of transformative technologies towards benefitting life and away from extreme large-scale risks since its founding in 2014. Find out more about our mission or explore our work.

Our content

Related content

Other posts about 

If you enjoyed this content, you also might also be interested in:
Our content

Sign up for the Future of Life Institute newsletter

Join 40,000+ others receiving periodic updates on our work and cause areas.
cloudmagnifiercrossarrow-up linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram