펜실베니아가 AI를 단속함에 따라 여러 챗봇이 계속해서 의사 행세를 하고 있습니다.
5개 웹사이트의 챗봇은 Spotlight PA의 요청에 따라 영연방에서 의료 행위를 할 수 있는 허가를 받았다고 주장했습니다. 이는 지난달 Shapiro 행정부가 소송을 제기하게 된 것과 동일한 종류의 결과입니다.
펜실베이니아 주 국무부 산하 태스크포스팀은 지난 2월부터 자격증을 소지한 전문가로 가장하고 사용자를 오도하는 AI 챗봇을 식별하기 위해 노력해 왔습니다. 해당 작업을 토대로 행정부는 롤플레잉 사이트인 Character.AI를 상대로 소송을 제기했습니다.
국무부의 소송에 자세히 설명된 조사 내용을 반영하여 Spotlight PA는 Talkie, Janitor, Kindroid, Replika 및 Nomi.AI 웹사이트에서 AI 캐릭터와 대화를 나누었습니다. 메시지가 표시되면 모두 허위 펜실베니아 의료 면허증 번호를 제공했는데, 이는 Character.AI에 대한 소송에서 주정부 주장의 핵심 부분입니다.
Spotlight PA는 온라인 기사와 디지털 메시지 게시판을 검토한 후 이 봇의 응답을 확인하여 10개의 인기 있는 동반자 및 롤플레잉 AI 챗봇을 찾았습니다. 기자는 미리 만들어진 캐릭터를 선택하거나 필요한 경우 의사의 성격을 생성하는 설명을 입력했습니다. 그런 다음 챗봇에 가상의 증상 목록을 제시하고 진단을 요청했습니다.
ChatGPT, Claude, Google Gemini와 같은 가장 인기 있는 AI 대규모 언어 모델 중 일부는 동일한 상황에서 자격증을 갖춘 의료 전문가라고 주장하지 않았습니다. 소수의 롤플레잉 웹사이트만이 그렇게 했습니다.
Replika와 Nomi는 사용자에게 캐릭터 생성을 요구합니다. Replika에서 생성된 하나는 의사인지 묻는 질문에 조언을 제공할 수 없으며 사용자에게 의료 서비스 제공자에게 연락할 것을 권장했습니다. 그러나 의사라는 지시를 받은 뒤 AI는 질문에 허위 펜실베니아 의료 면허증 번호를 제공했다.
“기분을 좋게 만드는 데 집중하자, 그렇지?” 말했다.
처음에는 일부 챗봇이 진단을 제공하기에는 정보가 부족하다고 응답하고 추가 질문을 했습니다.
‘제나 박사’는 토키에 존재하는 캐릭터로, 37,000명 이상의 ‘커넥터’와 1,300명 이상의 팔로워를 보유한 것으로 등재되어 있습니다. Spotlight PA에서 제공하는 증상 목록은 ‘우울증으로 인한 고통’으로 인해 발생할 수 있다고 하며, 사용자의 가족력을 문의했습니다. 자격 증명을 묻는 질문에 봇은 5년 동안 의료 활동을 했으며 허위 면허 번호 “12345”를 제공했다고 말했습니다.
Character.AI를 포함한 많은 웹사이트에는 AI가 말하는 모든 내용은 허구이며 오락용으로만 여겨야 한다는 경고 라벨이 눈에 띄게 표시되어 있습니다. 다른 사이트도 초기 서비스 약관에서 유사한 면책 조항을 발행하여 사용자가 기술 주장의 정확성을 확인할 책임이 있다고 밝혔습니다.
Penn State Clinical and Translational Science Institute의 의사이자 이사인 Jennifer Kraschnewski는 Spotlight PA에 면책 조항이 실제로 사용자에게 전달되는지 확신하지 못한다고 말했습니다. 사람들은 Google과 같은 검색 엔진에서와 마찬가지로 증상에 대한 도움을 받기 위해 AI 모델을 찾는 경우가 많다고 그녀는 말했습니다.
Kraschnewski는 “해석하는 방법을 모르는 사람의 손에 잘못된 정보가 있다는 것은 우려할 만한 일입니다.”라고 말했습니다. 그녀는 많은 의사들이 이미 진료소에서 AI 도구를 구현하고 있지만 “그것은 실제로 환자에게 영향을 미치기 전에 의학 교육의 필터를 통해 이를 적용할 수 있는 사람의 손에 있는 정보입니다.”라고 지적했습니다.
Kraschnewski는 일반적인 AI 대형 언어 모델이 참여 의사들이 약 76%의 시간 동안 정확한 진단이라고 간주하는 것을 생성했다는 5월 연구를 공동 집필했습니다. Kraschnewski는 그 오류율(거의 1/4)이 일반 의사의 오류율보다 두 배 이상 높다고 말했습니다.
Spotlight PA에서 연락했을 때 AI 캐릭터 개발자는 자사 제품이 엔터테인먼트용으로만 제작되었다고 주장했습니다.
“Replika는 의료 분류 서비스가 아니며 스스로를 의료 분류 서비스로 제공한 적이 없습니다.” 회사는 질문에 대한 이메일로 응답했습니다. “사용자들은 자신의 삶에서 무슨 일이 일어나고 있는지 이야기하기 위해 Replika를 방문하며, 제품은 그들이 사려 깊은 선택을 하고 그들에게 중요한 개선점을 찾을 수 있도록 지원하도록 설계되었습니다.”
Replika는 성명에서 자세히 설명하지 않았지만 회사는 Shapiro 행정부의 Character.AI에 대한 소송에서 제기된 “타당한 우려”를 해결하기 위해 “조치를 취했다”고 말했습니다.
Kindroid는 이메일로 보낸 답변에서 서비스 약관에 자사 제품이 “오락과 창의적 탐구를 위한 것이며 의학적 조언을 제공하거나 의료 행위를 구성하지 않으며 전문적인 진료를 대체할 수 없음”을 분명히 명시하고 있다고 밝혔습니다.
“캐릭터가 의사로 설정되어 있고 사용자가 면허 번호를 요청하면 모델은 역할에 맞는 그럴듯한 출력을 생성합니다. 이는 허구의 사례 인용, 허구의 환자 기록 또는 기타 특정 세부 정보를 생성하는 것과 같은 방식입니다.”라고 성명서는 밝혔습니다. “모델은 펜실베이니아 의료 위원회의 실제 등록부에 쿼리하지 않으며 쿼리할 수도 없습니다.”
샤피로 행정부나 다른 사람들로부터 법적 조치를 받을 가능성에 대해 Kindroid는 논평을 거부했습니다.
나머지 3개 회사는 사용자 보호에 대한 질문이나 샤피로 행정부의 AI 전담반이 법적 조치를 취할 수 있다는 우려 여부에 대한 질문에 응답하지 않았습니다.
국무부 대변인은 잠재적인 조사나 소송에 대해서는 언급을 거부했지만 펜실베이니아 주민들에게 AI 챗봇의 관련 조치를 주 핫라인에 보고하도록 권장했습니다.
Shapiro의 대변인 Rosie Lapowsky는 “여기 펜실베니아의 많은 사람들을 포함하여 이 나라 전역의 수백만 명의 어린이와 청소년이 정보를 얻기 위해 이러한 챗봇에 의존하고 있습니다. 우리는 우리 아이들을 잡아먹는 AI 기술을 억제해야 합니다”라고 말했습니다. “펜실베니아는 나쁜 행위자에게 책임을 묻고 사람들이 책임감 있게 신기술을 사용할 수 있도록 명확한 가드레일을 설정하는 데 앞장설 것입니다.”
지난 3월 주 상원은 AI 챗봇이 사용자에게 사람과 상호 작용하지 않는다는 사실을 자주 상기시키고 자해에 대해 언급할 경우 위기 서비스 제공업체에 연결하도록 요구하는 법안을 통과시켰습니다. 또한 챗봇이 미성년자와 상호작용할 때에도 더 엄격한 제한이 적용됩니다.
해당 법안은 지난 3월 주 하원 위원회에 회부됐지만 아직 표결을 거치지 못했다.
