귀하의 글은 AI로 표시되었습니다. 그게 실제로 무엇을 의미하나요?

대작가 Sally McGraw는 잠재 고객을 위한 책 제안서를 개발하는 일자리를 얻기를 희망하고 있었습니다. 그러나 작문 샘플을 제출한 후 그녀는 예상치 못한 응답을 받았습니다. 여러 인공 지능 탐지 도구가 그녀의 작품을 기계 생성으로 표시했다는 내용의 이메일이었습니다.

McGraw는 “텍스트 생성에 AI를 사용하지 않았기 때문에 당황했습니다.”라고 말했습니다. “다 내가 직접 썼어요.”

전문 논픽션 작가로 20년 이상을 보낸 McGraw는 자신의 작품이 AI로 작성된 것으로 무시되어 화가 났다고 말했습니다.

“턱부터 정수리까지 빨개지는 만화 캐릭터를 어디서 본 적이 있나요? 귀가 타는 듯한 느낌이 들었습니다.”라고 그녀는 말했습니다. “무슨 일이 일어나고 있는 걸까?”

McGraw는 자신이 제안서를 직접 작성했다고 클라이언트에게 확신시켰지만 해당 작업이 “사소한” 작업이라고 생각했기 때문에 문제를 제기하지 않기로 결정했다고 말했습니다.

NPR에 보낸 이메일에서 고객은 AI에 대한 McGraw의 작업을 심사했음을 확인했습니다. 그러나 그녀는 결과가 다른 작가를 고용하기로 결정하는 결정적인 요인이 아니라 경험과 적합성을 언급하는 것이라고 말했습니다. McGraw는 그녀가 집필 샘플에 대한 대가를 받았지만 감지기 결과로 인해 그녀가 전체 책 제안서를 작성할 기회를 잃었다고 믿습니다.

편집자들이 점점 늘어나는 AI 생성 콘텐츠를 따라잡기 위해 고군분투하고 있는 가운데, 일부 편집자들은 늘어나는 제출물 수를 선별하는 데 도움이 되는 탐지 도구로 눈을 돌리고 있습니다. 그러나 이러한 도구는 완벽하지 않습니다. 인간이 작성한 작업을 AI로 잘못 표시하는 것으로 알려져 있으며, 이로 인해 작가는 결과를 촉발한 원인과 그렇지 않은 경우 증명하는 방법에 대해 거의 알지 못할 수 있습니다.

McGraw는 “이러한 스크리너가 100% 정확하지 않다는 것은 누구나 알고 있습니다.”라고 말했습니다.

편집자들은 AI가 작성한 제출물에 압도됩니다.

의 출판사이자 편집자인 닐 클라크(Neil Clarke)는 SF 잡지에 AI 투고가 넘쳐 편집 직원들에게 압박을 가하고 있다고 말했습니다.

2021년에는 이 출판물에 한 달에 약 1,100개의 제출물이 접수되었습니다. 2023년 2월까지 ChatGPT, Claude 및 Gemini와 같은 AI 에이전트가 널리 사용되기 시작한 후 그 수가 두 배로 증가하여 Clarke는 제출 포털을 일시적으로 폐쇄했습니다. 그는 자신의 작업량이 약 30% 증가했다고 추정합니다.

그는 “이는 그 과정에 불신의 요소를 도입했다”고 말했다.

AI 쓰기 감지기가 일치하지 않을 때

AI 탐지기는 최근 몇 년 동안 더욱 정교해졌지만 탐지기 뒤에 있는 회사는 도구가 완벽하지 않다는 점을 인정합니다. 연구자들은 서로 다른 AI 탐지 도구가 동일한 글에 대해 극적으로 다른 결론에 도달할 수 있음을 발견했습니다.

6월에 International Journal for Educational Integrity에 발표된 연구에서 연구자들은 널리 사용되는 4가지 감지기의 정확도를 비교했습니다. 그들은 4가지 범주로 구성된 160개의 학술 논문을 테스트했습니다. 즉, 완전히 사람이 쓴 것, 완전히 AI로 쓴 것, 두 가지를 조합한 것, 사람이 다시 쓴 AI 자료입니다.

4개의 탐지기 중 Pangram은 결합된 텍스트가 포함된 40개 논문 중 37개 논문과 인간이 AI 생성 텍스트를 다시 쓴 40개 논문 중 37개에서 AI 사용을 정확하게 식별하여 가장 일관되게 정확했습니다.

Pangram CEO Max Spero는 이메일로 보낸 성명에서 특히 평가할 글이 많지 않을 때 회사의 감지기가 실수를 할 수 있다고 말했습니다.

펜실베이니아 대학교 컴퓨터 및 정보 과학 교수인 Chris Callison-Burch는 이전에 출판된 글이 추가적인 문제를 일으킬 수 있다고 말합니다.

Callison-Burch는 “많은 AI 탐지기가 대규모 언어 모델에 구절이 얼마나 예측 가능한지 묻는 방식으로 작동합니다.”라고 말했습니다. “문제는 언어 모델이 훈련 데이터에서 비정상적으로 예측 가능한 텍스트를 찾는 경향이 있다는 것입니다.”

이는 과학 블로거 Janelle Shane이 2022년 말 AI 작동 방식에 관한 2019년 책에서 발췌한 내용을 테스트하면서 접한 내용을 설명할 수 있습니다. 한 감지기는 문구가 기계로 생성되었다는 신뢰도가 98.7%라고 보고했습니다.

“이것은 명확하고 눈부시며 깜박이는 빛의 거짓 긍정입니다”라고 Shane은 말했습니다. “이 글은 제가 직접 쓴 것입니다.”

McGraw의 작문 샘플과 같은 미출판 초안은 특별한 문제에 직면하지 않을 것이지만 Callison-Burch는 여전히 작문 스타일의 패턴에 따라 잘못 표시될 수 있다고 말했습니다.

탐지기는 단어 선택, 구두점, 문장 조합 방식에서 단서를 찾습니다. “탐색”이라는 단어, 빈번한 엠 대시, 3개의 목록으로 그룹화된 아이디어는 AI에 긍정적인 결과를 유발할 수 있다고 그는 말했습니다. “현저하게” 또는 “중요하게”와 같은 부사로 문장을 시작하거나 질문을 던진 후 즉시 대답하는 것도 마찬가지입니다.

동시에, 그것은 인간 작가들에게 친숙한 습관입니다. Callison-Burch는 탐지기가 전체 조각에 걸쳐 패턴의 무게를 측정하기 때문에 엠 대시나 특정 단어만으로는 반드시 봇이 사용되었다는 의미는 아니라고 말합니다.

작가에게 위험한 것은 무엇입니까?

작가 권리를 옹호하는 단체인 작가길드(Authors Guild)는 지난 5월 AI 탐지기 사용이 “마녀사냥을 연상시키는 환경을 조성한다”고 밝혔으며, 작가들은 무고와 자신을 방어할 방법에 대해 고민하고 있다.

길드에서는 “오탐으로 인해 저자의 출판 계약과 평판이 손상될 수 있으며, AI가 생성한 작품이 감지되지 않은 채 평판이 좋은 출판물을 통과할 때 오탐으로 인해 독자가 작가와 업계에 대한 신뢰를 잃을 수 있습니다”라고 썼습니다.

공상과학 잡지 출판사인 Clarke는 그 중간쯤에 자리잡고 있습니다. 그는 들어오는 원고를 검사하기 위해 개인적으로 AI 탐지기를 사용하지는 않지만 특정 탐지 도구가 편집자들에게 부담을 주는 데 도움이 될 수 있다고 생각합니다. 감지기의 결과를 확인하는 경우 볼륨을 관리합니다. 그러나 그는 의혹을 작가의 평판을 손상시킬 수 있는 비난으로 바꾸는 것은 주의해야 합니다.

그는 “제출은 비난이 아니라 거부로 끝나야 한다”고 말했다.

McGraw는 또 다른 비난에 대한 두려움 때문에 글을 쓰는 방식이 바뀌었다고 말했습니다. 그녀는 이제 특정 단어와 문장 구조의 사용을 피하고 때로는 포함했던 쉼표를 생략하여 불일치가 인간이 텍스트를 썼다는 것을 증명하는 데 도움이 되기를 바란다고 말했습니다.

“엠 대시가 그리워요. 그것은 저널리즘 학교에서 배운 것이고 수십 년 동안 사용해 온 것입니다.”라고 그녀는 말했습니다.

대작가도 아이러니를 본다. 대규모 언어 모델은 인간의 산문에서 학습하지만 그녀는 자신의 산문을 덜 AI처럼 보이게 만들어야 한다는 압박감을 느낀다고 말합니다.

McGraw는 “그것은 내가 기계가 아니라고 생각하도록 기계를 속이려는 것과 같습니다.”라고 말했습니다.

그리고 그녀는 더 큰 기회가 닥쳤을 때 또 다른 비난을 받을까 봐 걱정한다.

“나는 그것이 내가 정말 열망하는 임무이고 그 결과가 나를 만들거나 망가뜨릴 때를 대비하고 있습니다”라고 그녀는 말했습니다.