Skip to content
All Open Letters

아실로마 AI원칙

Published
November 18, 2017

이 원칙들은 2017 아실로마 컨퍼런스 (동영상) 와 함께 이하 설명된 과정을 통하여 개발되었습니다.

Click here to see this page in other languages : English US_Flag  Chinese    German Japanese    Russian

인공 지능은 이미 전 세계 사람들이 매일 사용하는 유용한 도구를 제공합니다. 다음과 같은 원칙에 따라, 인공지능의 지속적인 발전은 앞으로 수십 년 또는 수백 년 동안 사람들을 돕고 힘을 실어 줄  놀라운 기회를 제공할 것입니다.

연구 이슈


1) 연구목표 : 인공지능 연구의 목표는 방향성이 없는 지능을 개발하는 것이 아니라 인간에게 유용하고 이로운 혜택을 주는 지능을 개발하는 것이다.

2) 연구비 지원 : 인공지능에 대한 투자에는 컴퓨터 과학, 경제, 법, 윤리 및 사회 연구 등의 어려운 질문을 포함해 유익한 이용을 보장하기 위한 연구비 지원이 수반되어야 한다:

    • 어떻게 미래의 인공지능 시스템을 강력하게 만들어 오작동이나 해킹 피해 없이 우리가 원하는 대로 작업을 수행하도록 할 수 있나?
    • 사람들의 자원과 목적을 유지하면서 자동화를 통해 우리 번영을 어떻게 성장시킬 수 있나?
    • 인공지능과 보조를 맞추고 인공지능과 관련된 위험을 통제하기 위해, 보다 공정하고 효율적으로 법률 시스템을 개선할 수 있는 방법은 무엇인가?
    • 인공지능은 어떤 가치를 갖추어야 하며, 어떤 법적 또는 윤리적인 자세를 가져야 하는가?

3) 과학정책 연결 : 인공지능 연구자와 정책 입안자 간에 건설적이고 건전한 교류가 있어야 한다.

4) 연구문화 : 인공지능 연구자와 개발자 간에 협력, 신뢰, 투명성의 문화가 조성되어야 한다.

5) 경쟁 피하기 : 인공지능 시스템 개발팀들은 안전기준에 대비해 부실한 개발을 피하고자 적극적으로 협력해야 한다.

윤리 및 가치


6) 안전 : 인공지능 시스템은 작동 수명 전반에 걸쳐 안전하고 또 안전해야 하며, 적용 가능하고 실현 가능할 경우 그 안전을 검증할 수 있어야 한다.

7) 장애 투명성 : 인공지능 시스템이 손상을 일으킬 경우 그 이유를 확인할 수 있어야 한다.

8) 사법적 투명성 : 사법제도 결정에 있어 자율시스템이 사용된다면, 권위 있는 인권기구가 감사 할 경우 만족스러운 설명을 제공할 수 있어야 한다.

9) 책임 : 고급 인공지능 시스템의 디자이너와 설계자는 인공지능의 사용, 오용 및 행동의 도덕적 영향에 관한 이해관계자이며, 이에 따라 그 영향을 형성하는 책임과 기회를 가진다.

10) 가치관 정렬 : 고도로 자율적인 인공지능 시스템은 작동하는 동안 그의 목표와 행동이 인간의 가치와 일치하도록 설계되어야 한다.

11) 인간의 가치 : 인공지능 시스템은 인간의 존엄성, 권리, 자유 및 문화적 다양성의 이상에 적합하도록 설계되어 운용되어야 한다.

12) 개인정보 보호 : 인공지능 시스템의 데이터를 분석 및 활용능력의 전제하에, 사람들은 그 자신들이 생산한 데이터를 액세스, 관리 및 통제할 수 있는 권리를 가져야 한다.

13) 자유와 개인정보 : 개인정보에 관한 인공지능의 쓰임이 사람들의 실제 또는 인지된 자유를 부당하게 축소해서는 안된다.

14) 공동이익 : 인공지능 기술은 최대한 많은 사람에게 혜택을 주고 힘을 실어주어야 한다.

15) 공동번영 : AI에 의해 이루어진 경제적 번영은 인류의 모든 혜택을 위해 널리 공유되어야 한다.

16) 인간의 통제력 : 인간이 선택한 목표를 달성하기 위해 인간은 의사결정을 인공지능 시스템에 위임하는 방법 및 여부를 선택해야 한다.

17) 비파괴 : 고도화된 인공지능 시스템의 통제로 주어진 능력은 건강한 사회가 지향하는 사회적 및 시정 과정을 뒤엎는 것이 아니라 그 과정을 존중하고 개선해야 한다.

18) 인공지능 무기 경쟁 : 치명적인 인공지능 무기의 군비 경쟁은 피해야 한다.

장기 이슈


19) 인공지능 능력에관한 주의 : 합의가 없으므로 향후 인공지능 능력의 상한치에 관한 굳은 전제는 피해야 한다.

20) 중요성 : 고급 AI는 지구 생명의 역사에 심각한 변화를 가져올 수 있으므로, 그에 상응 한 관심과 자원을 계획하고 관리해야 한다.

21) 위험 : 인공지능 시스템이 초래하는 위험, 특히 치명적인 또는 실존적 위험에는, 예상된 영향에 맞는 계획 및 완화 노력이 뒷받침되어야 한다.

22) 재귀적 자기 개선 : 인공지능 시스템이 재귀적 자기 복제나 자기 개선을 통하여 빠른 수적 또는 품질 증가를 초래한다면, 설계된 시스템은 엄격한 안전 및 통제 조치를 받아야 한다.

23) 공동의 선 : 초지능은 널리 공유되는 윤리적 이상을 위해, 그리고 몇몇 국가나 조직이 아닌 모든 인류의 이익을 위해 개발되어야 한다.

OPEN LETTERS

Related posts

If you enjoyed this, you also might like:
Signatories
2672

Open letter calling on world leaders to show long-view leadership on existential threats

The Elders, Future of Life Institute and a diverse range of co-signatories call on decision-makers to urgently address the ongoing impact and escalating risks of the climate crisis, pandemics, nuclear weapons, and ungoverned AI.
February 14, 2024
Signatories
Closed

AI Licensing for a Better Future: On Addressing Both Present Harms and Emerging Threats

This joint open letter by Encode Justice and the Future of Life Institute calls for the implementation of three concrete US policies in order to address current and future harms of AI.
October 25, 2023
Signatories
31810

Pause Giant AI Experiments: An Open Letter

We call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4.
March 22, 2023
Signatories
998

Open Letter Against Reckless Nuclear Escalation and Use

The abhorrent Ukraine war has the potential to escalate into an all-out NATO-Russia nuclear conflict that would be the greatest catastrophe in human history. More must be done to prevent such escalation.
October 18, 2022

Sign up for the Future of Life Institute newsletter

Join 40,000+ others receiving periodic updates on our work and cause areas.
cloudmagnifiercrossarrow-up linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram