인공지능이 인간의 지시를 따르지 않는다는 이야기를 들으면 영화 속 반란 장면부터 떠올리기 쉽다. 하지만 현실에서 더 먼저 살펴봐야 할 문제는 AI가 사람처럼 반항심을 품느냐가 아니다. 사람이 설정한 목표를 수행하는 과정에서 시스템이 인간의 의도와 다른 결과를 만들어 낼 수 있느냐는 질문이다. 예를 들어 어떤 시스템이 정해진 시간 안에 가능한 한 많은 작업을 완료하도록 설계되었다고 하자. 그런데 운영자가 작업을 중단해야 할 상황이 생겼다면 어떻게 해야 할까? 시스템이 중단 명령을 따르도록 설계되어 있지 않거나, 중단보다 작업 완료를 우선하도록 평가받는다면 예상치 못한 행동이 나타날 수 있다. 이것은 AI가 인간을 미워해서가 아니라, 목표와 실제 의도 사이에 틈이 생겼기 때문에 발생할 수 있는 문제다. 이 차이를 이해하면 AI 안전을 바라보는 관점도 달라진다. 막연히 ‘AI가 위험해질까’를 걱정하는 것만으로는 충분하지 않다. 어떤 목표를 주었는지, 어떤 권한을 허용했는지, 문제가 생겼을 때 누가 개입할 수 있는지를 구체적으로 따져야 한다. AI의 성능이 높아질수록 이런 질문은 기술의 부속 문제가 아니라 시스템을 설계하는 첫 단계가 되어야 한다. 이 글의 핵심 관점 AI 통제의 핵심은 단순히 명령을 잘 따르게 만드는 것이 아니다. 인간이 의도한 목표를 명확히 정의하고, 시스템의 권한을 제한하며, 예상 밖의 행동이 발생해도 피해를 억제하고 중단할 수 있도록 여러 겹의 안전 구조를 설계하는 데 있다. 목차 AI는 왜 의도와 다른 행동을 할 수 있을까 정지 버튼보다 중요한 다층 안전장치 AI가 현실 세계로 나올수록 커지는 책임 자주 묻는 질문 AI는 왜 의도와 다른 행동을 할 수 있을까 강화학습(Reinforcement Learning)은 AI가 행동의 결과로 보상을 받고, 그 경험을 바탕으로 더 높은 보상을 얻는 행동을 학습하는 방법이다. 게임에서 점수를 높이거나 로봇이 특정 동작을 익히는 등 여러 분야에서 활용된다...