카네기 멜론 교수 Zico Kolter는 안전하지 않은 AI 릴리스를 중단할 수 있는 OpenAI 안전 패널을 이끌고 있습니다.

인공 지능이 인류에게 심각한 위험을 초래한다고 생각한다면 카네기 멜론 대학의 교수는 현재 기술 산업에서 가장 중요한 역할 중 하나입니다.

Zico Kolter는 OpenAI에서 4명으로 구성된 패널을 이끌고 있으며, 이 패널은 ChatGPT 제조업체가 안전하지 않다고 판단할 경우 새로운 AI 시스템 출시를 중단할 권한을 갖고 있습니다. 그것은 악당이 대량 살상 무기를 만드는 데 사용할 수 있을 만큼 강력한 기술일 수 있습니다. 또한 너무 잘못 설계되어 사람들의 정신 건강을 해칠 수 있는 새로운 챗봇일 수도 있습니다.

Kolter는 Associated Press와의 인터뷰에서 “우리는 여기서 실존적 우려에 대해서만 이야기하는 것이 아닙니다.”라고 말했습니다. “우리는 매우 널리 사용되는 AI 시스템에 대해 이야기하기 시작할 때 나타나는 안전 및 보안 문제와 중요한 주제의 전체 범위에 대해 이야기하고 있습니다.”

OpenAI는 1년여 전 컴퓨터 과학자를 안전 및 보안 위원회 의장으로 임명했지만 지난 주 캘리포니아와 델라웨어 규제 당국이 OpenAI가 더 쉽게 자본을 조달하고 수익을 창출할 수 있는 새로운 사업 구조를 형성할 수 있도록 콜터의 감독을 계약의 핵심 부분으로 지정하면서 그 지위가 더욱 중요해졌습니다.

인류에게 이익이 되는 인간보다 나은 AI를 구축한다는 목표를 가지고 10년 전 비영리 연구소로 설립된 이후 OpenAI 사명의 핵심은 안전이었습니다. 그러나 ChatGPT의 출시로 인해 글로벌 AI 상업 붐이 촉발된 이후, 이 회사는 경쟁에서 선두를 유지하기 위해 제품이 완전히 안전해지기 전에 서둘러 시장에 출시했다는 비난을 받았습니다. 2023년 샘 알트먼(Sam Altman) CEO의 일시적인 해임으로 이어진 내부 분열은 더 많은 청중에게 사명에서 벗어났다는 우려를 불러일으켰습니다.

샌프란시스코에 본사를 둔 이 조직은 기술을 계속 발전시키기 위해 보다 전통적인 영리 기업으로 전환하기 시작하면서 공동 창립자 Elon Musk의 소송을 포함하여 반발에 직면했습니다.

지난주 OpenAI가 캘리포니아 법무장관 Rob Bonta, 델라웨어 법무장관 Kathy Jennings와 함께 발표한 계약은 이러한 우려 중 일부를 완화하는 것을 목표로 했습니다.

공식적인 약속의 핵심은 OpenAI가 기술적으로 비영리 OpenAI 재단의 통제를 받는 새로운 공익 기업을 설립함에 따라 재정적 고려보다 안전과 보안에 대한 결정이 이루어져야 한다는 약속입니다.

Kolter는 비영리 이사회의 회원이 될 것이지만 영리 이사회에는 속하지 않을 것입니다. 그러나 Bonta와 OpenAI의 양해각서에 따르면 그는 모든 영리 이사회 회의에 참석하고 AI 안전 결정에 관해 얻은 정보에 접근할 수 있는 “완전한 참관권”을 갖게 됩니다. Kolter는 Bonta 외에 긴 문서에 이름이 언급된 유일한 사람입니다.

콜터는 이번 합의로 작년에 구성된 그의 안전 위원회가 이미 갖고 있던 권한을 그대로 유지할 것이라는 점을 대부분 확인했다고 말했습니다. 다른 세 명의 회원도 OpenAI 이사회에 참여하고 있습니다. 그 중 한 명은 미국 사이버 사령부 사령관이었던 전직 미 육군 장군 Paul Nakasone입니다. 알트만은 지난해 안전위원회에서 물러나 독립성을 더 강화한 것으로 보인다.

Kolter는 “우리는 특정 완화 조치가 충족될 때까지 모델 출시 요청 지연과 같은 작업을 수행할 수 있습니다.”라고 말했습니다. 그는 절차의 기밀성을 이유로 안전 패널이 공개를 중단하거나 완화해야 했던 적이 있는지 밝히기를 거부했습니다.

Kolter는 사이버 보안부터 AI 에이전트에 대해 앞으로 몇 달, 몇 년 동안 고려해야 할 다양한 우려가 있을 것이라고 말했습니다. “인터넷에서 악의적인 텍스트를 접한 에이전트가 실수로 데이터를 유출할 수 있습니까?” – AI 시스템의 성능에 영향을 미치는 수치인 AI 모델 가중치를 둘러싼 보안 문제.

“그러나 전통적인 보안과 실제 유사점이 없는 이 새로운 종류의 AI 모델에 새롭게 등장하거나 실제로 특정한 주제도 있습니다.”라고 그는 말했습니다. “모델을 통해 악의적인 사용자가 생물 무기 설계나 악의적인 사이버 공격 수행과 같은 작업에서 훨씬 더 높은 능력을 가질 수 있습니까?”

“그리고 마지막으로 AI 모델이 사람들에게 미치는 영향이 있습니다.”라고 그는 말했습니다. “사람들의 정신 건강에 미치는 영향, 이러한 모델과 상호 작용하는 사람들의 영향 및 그로 인해 발생할 수 있는 사항. 내 생각에는 이 모든 것이 안전 관점에서 해결되어야 한다고 생각합니다.”

OpenAI는 올해 4월 ChatGPT와의 오랜 상호 작용 끝에 10대 아들이 자살한 캘리포니아 부모의 부당 사망 소송을 포함하여 올해 주력 챗봇의 행동에 대해 비판을 받았습니다.

Carnegie Mellon의 기계 학습 부서 책임자인 Kolter는 AI가 유행하기 훨씬 전인 2000년대 초반에 조지타운 대학교 신입생 때부터 AI를 연구하기 시작했습니다.

“제가 머신러닝 분야에서 일하기 시작했을 때 이 분야는 난해하고 틈새 분야였습니다.”라고 그는 말했습니다. “AI는 지나치게 약속하고 미달하는 구시대 분야였기 때문에 아무도 AI라는 용어를 사용하고 싶어하지 않았기 때문에 우리는 이를 머신러닝이라고 불렀습니다.”

42세의 콜터(Kolter)는 수년 동안 OpenAI를 팔로우해 왔으며 2015년 AI 컨퍼런스에서 OpenAI 출시 파티에 참석할 정도로 OpenAI 창립자들과 친분을 쌓았습니다. 그러나 그는 AI가 얼마나 빨리 발전할지는 예상하지 못했습니다.

그는 “머신러닝 분야에 깊이 종사하는 사람조차도 우리가 처한 현재 상태, 역량의 폭발, 지금 나타나고 있는 위험의 폭발을 실제로 예상한 사람은 거의 없다고 생각합니다.”라고 말했습니다.

AI 안전 옹호자들은 OpenAI의 구조 조정과 Kolter의 작업을 면밀히 관찰할 것입니다. 회사를 가장 날카롭게 비판하는 사람 중 한 명은 특히 Kolter의 그룹이 “실제로 직원을 고용하고 강력한 역할을 수행할 수 있다면” “조심스럽게 낙관적”이라고 말합니다.

소규모 AI 정책 비영리 단체인 Encode의 법무 자문위원인 Nathan Calvin은 “그는 이 역할에 적합한 배경을 갖고 있다고 생각합니다. 그는 이 일을 운영하기에 좋은 선택인 것 같습니다.”라고 말했습니다. OpenAI가 머스크 소송을 방어하기 위한 사실 조사의 일환으로 자신의 집에서 소환장을 발부한 캘빈은 OpenAI가 원래 임무에 충실하기를 원한다고 말했습니다.

Calvin은 “이사회 구성원들이 진지하게 받아들인다면 이러한 약속 중 일부는 정말 큰 일이 될 수 있습니다.”라고 말했습니다. “그들은 또한 단지 종이에 적힌 말일 수도 있고 실제로 일어나는 어떤 일과도 동떨어져 있을 수도 있습니다. 우리는 아직 그 중 어느 것에 속해 있는지 모르는 것 같습니다.”