AI에 대해 더 많이 아는 사람들은 AI를 덜 신뢰할까요? 최근 가디언(The Guardian) 신문은 다른 사람들에게 AI를 멀리하라고 경고하는 AI 작업자에 대한 기사를 실었습니다. 인터뷰 대상자는 AI 교육을 위해 고용된 사람들이었습니다. 그들은 확인되지 않은 편견, 다룰 자격이 없는 의학적 문제에 대한 대응을 평가해야 하는 점, 불분명한 지침, 교육 부족, 불합리하게 짧은 마감일에 대한 우려를 표명했습니다. 그들 중 다수는 이제 친구와 가족에게 AI의 위험성에 대해 경고하고 자녀의 AI 사용을 금지했습니다.
AI의 잘못된 정보나 편견에 대한 비난은 새로운 것이 아닙니다. 그러나 Guardian의 기사는 일반적으로 아무도 묻지 않는 사람들, 즉 모든 AI 출시 뒤에 숨은 저임금 인간 노동 시간을 직접 경험한 AI 테스터의 의견을 반영한다는 점에서 흥미롭습니다. 세간의 이목을 끄는 AI 전문가들이 AI의 위험성에 대해 이야기하면 사람들은 더 귀를 기울일 가능성이 높습니다. 캠페인 그룹 Pause AI에는 AI로 인해 “매우 나쁜 결과”가 발생할 가능성에 대해 다양한 개인이 말하는 내용을 기반으로 하는 AI 파멸 확률 목록이 있습니다. 이 목록에는 인공지능의 위험성에 관한 책과 학술 논문을 쓴 AI 전문가들이 포함되어 있습니다.
사람들이 AI에 자금을 지원하고 구독하는 데 기득권을 갖고 있는 거대 AI 파워 브로커들조차도 AI를 맹목적으로 신뢰하는 것에 대해 주의를 촉구합니다. 샘 알트만 CEO는 2025년 6월 OpenAI 팟캐스트에서 “사람들은 ChatGPT에 대해 매우 높은 신뢰도를 갖고 있는데 AI가 환각을 일으키기 때문에 흥미롭다. 그다지 신뢰하지 않는 기술이어야 한다”고 말했다. 그러나 Guardian 인터뷰 대상자와 달리 Altman은 사람들이 ChatGPT를 완전히 사용하는 것을 권장하지 않습니다.
AI 평가자는 어떤 일을 하나요?
Guardian이 인터뷰한 AI 작업자처럼 저는 AI 평가 작업의 참호에서 시간을 보냈습니다. 나는 많은 프리랜서 작가들이 조용한 시간 동안 같은 일을 했다고 생각합니다. 이는 여전히 적극적으로 채용을 진행 중인 제3자 기업을 위한 것이므로 인력에 대한 수요가 여전히 높습니다. 내 경우에는 내가 어떤 회사의 AI 제품을 만드는 데 도움을 주고 있는지 전혀 몰랐습니다.
벤치마크를 기준으로 AI 응답을 평가하거나 LLM의 다단계 요청 수행 또는 불명확한 지침 처리 능력 등을 테스트하는 AI 프롬프트 작성과 같은 작업이 주어집니다. 일부 작업에는 LLM이 공격적인 콘텐츠에 대한 자체 규칙을 위반하도록 의도적으로 시도하는 작업이 포함되었습니다. The Guardian의 인터뷰 대상자 중 다수는 작업을 완료하는 데 할당된 시간이 너무 짧아서 신중하고 철저한 결과를 얻을 수 없다고 말했습니다. 이는 저의 경험이기도 합니다. 한 AI 작업자는 “우리는 모델을 개선하는 데 도움을 줄 것으로 기대하지만 종종 모호하거나 불완전한 지침, 최소한의 교육, 작업 완료에 대한 비현실적인 시간 제한을 받습니다.”라고 말했습니다.
무엇보다 빠른 처리 시간을 우선시하는 시스템의 일부가 된 경험이 AI를 경계하게 만들었나요? AI에 대해 글을 쓰는 인간 작가로서 나와 AI와의 관계는 복잡합니다. 나는 기술을 좋아하지만 그것이 생산하는 낮은 품질의 AI 슬롭을 싫어합니다. 나는 그것이 생산하는 콘텐츠의 품질에 대해 건전한 회의론을 가지고 있지만 사람들에게 그것을 사용하지 말라고 말하고 싶지는 않습니다. 기사에서 인터뷰 대상자들이 표현한 모든 우려는 타당하지만 인간 AI 평가자는 AI 모델을 테스트하고 미세 조정하는 과정의 한 부분일 뿐이라는 점을 기억할 가치가 있습니다.
AI 모델은 어떻게 훈련되나요?
GPT 대규모 언어 모델을 훈련할 때 두 가지 주요 단계가 있습니다. 이것이 바로 언어 모델링과 미세 조정입니다. 언어 모델링 단계에서 AI는 웹 페이지, 서적, 기타 텍스트 기반 데이터를 포함한 엄청난 양의 데이터에 대해 훈련됩니다. 이 데이터를 사용하여 언어의 일반적인 패턴을 학습합니다. 인간 테스터가 참여하는 것은 미세 조정 단계입니다. 사람들은 모델을 더욱 안전하고 유용하게 만들고 인간이 이해하고 공감할 수 있는 방식으로 응답하는지 확인하기 위한 프로세스에서 모델의 응답을 검토하고 순위를 매깁니다. OpenAI와 같은 회사는 보다 전문적인 과제를 수행하기 위해 선임 연구 엔지니어를 고용하는 반면, 일상적인 평가 작업의 대부분은 제3자에게 아웃소싱되어 전 세계 직원이 선택합니다.
많은 테스트가 진행 중이며 각 모델 버전이 출시된 후에도 계속됩니다. 예를 들어, “레드팀 구성”은 모델의 오류, 편견 또는 안전하지 않은 행동을 고의적으로 조사하는 작업자에게 사용되는 문구입니다. 그들은 이를 깨기 위해 효과적으로 노력하고 있으며, 발견한 문제는 이후 교육을 개선하는 데 사용됩니다. AI 회사는 또한 사람들에게 오류를 보고하고 응답 품질에 대한 피드백을 제공하도록 권장합니다.
이러한 모든 과정에도 불구하고 AI는 여전히 실수를 저지릅니다. 그리고 때때로 이러한 오류는 매우 위험합니다. Guardian은 최근 Google AI 개요에서 제공한 의학적 조언을 조사한 결과 개요가 간 기능 테스트 결과에 대한 질문에 잘못 대답한 예를 발견했습니다. 이는 심각한 건강 문제가 있는 사람들이 자신이 괜찮다고 믿을 수 있음을 의미합니다. 신문의 보도에 따라 Google은 이제 AI를 업데이트하고 간 기능 테스트에 대한 질문에 대한 개요를 제거했습니다.
