우리 모두는 ChatGPT가 완벽하지 않다는 것을 알고 있습니다. 실수도 하고, 아직 대답할 수 없는 질문도 있습니다. 그러나 ChatGPT와 같은 LLM(대규모 언어 모델)이 항상 동일한 작업을 수행하는 데 문제가 있을 가능성은 없습니다. 일반 사용자는 ChatGPT가 질문에 잘못 대답했거나 물리 법칙을 무시하는 이미지를 생성한 경우를 경험했을 것입니다.
그러나 LLM은 동일한 질문에 매번 동일한 답변을 제공하지 않습니다. 무작위성은 LLM 작동 방식의 일부입니다. 따라서 관계, 재정 또는 건강에 대한 조언을 ChatGPT에 의존하는 것은 나쁜 생각이지만 올바른 답변을 제공할 수 없기 때문은 아닙니다. 실수는 흔하지 않지만 누군가가 병원 검사 결과만큼 심각한 것에 대해 묻는 경우 잘못된 정보는 치명적입니다.
ChatGPT가 정말 형편없는 작업을 찾는 것은 놀라울 정도로 어렵습니다. 우리는 일부 사용자가 문제를 보고한 다양한 기능을 테스트하는 데 몇 시간을 보냈습니다. 대화 스타일 변경, 이미지에서 텍스트 복사, 정기적인 알림 설정 등 많은 부분에서 ChatGPT가 나쁘지 않다는 사실을 발견했습니다. Sam Altman에게는 다행스러운 일이라고 확신합니다. 그러나 ChatGPT가 아직 적합하지 않은 일부 광범위한 영역이 있습니다. 때로는 제품이 제대로 준비되기 전에 출시되었기 때문일 수도 있고, AI가 할 수 있는 일에 대한 약속이 과대평가되었기 때문일 수도 있고, 때로는 챗봇이 그런 식으로 작동할 의도가 전혀 없었기 때문일 수도 있습니다.
작업 저장
무료 또는 플러스 계정으로 ChatGPT를 사용하기 위해 로그인하면 화면 왼쪽에 대화 기록 기록이 표시됩니다. 이러한 대화 중 하나를 클릭하면 이전 채팅을 재개할 수 있습니다. 키워드를 검색하여 오래된 대화를 찾을 수도 있습니다. 이러한 모든 도구를 사용하면 ChatGPT가 지난 몇 년 동안 봇과 나누었던 중요한 대화를 모두 저장할 수 있는 안전한 장소라고 생각할 수도 있습니다. 당신은 틀렸을 것입니다. 6개월 전의 대화를 볼 수 있지만, 실제로는 전혀 예고 없이 즉시 삭제될 수 있습니다.
독일 쾰른 대학교의 한 교수는 데이터 설정을 변경한 후 2년간의 보조금 신청서 템플릿, 교육 자료 초안 및 시험 결과 분석을 잃어버렸을 때 이 사실을 어렵게 깨달았습니다. 그는 ChatGPT의 지원팀에 연락하여 마침내 고객 서비스 봇을 통과하여 인간과 대화했을 때 사라진 모든 작업이 영원히 손실되었음을 확인했습니다.
이는 OpenAI 측의 결함이나 실수가 아니었습니다. 이것이 바로 도구가 작동하는 방식입니다. 보안 및 개인 정보 보호 정책을 통해 OpenAI 서버의 어느 곳에도 대화가 백업되지 않습니다. 삭제되면 그게 전부입니다. 따라서 방대한 판타지 소설의 초안이든 세심하게 수정한 코딩이든 ChatGPT 대화 기록에서 잃어버릴 만한 내용이 있다면 실수로 삭제한 작업을 복구하는 데 도움이 되도록 특별히 설계된 OneDrive와 같은 다른 곳에 저장하세요.
다른 앱과 상호작용
OpenAI에는 다른 도구(예전에는 Operator라고 불리다가 OpenAI의 Deep Research와 결합된 앱 및 에이전트)와 통합하는 데 사용할 수 있는 몇 가지 방법이 있습니다. 앱 기능을 테스트하는 것은 실망스러운 경험이었고 검토자는 에이전트가 작업을 수행하도록 할 때 제한과 성가심을 경험하기도 했습니다. 자주 등장하는 용어는 “반쯤 구운 것”입니다. OpenAI는 이를 “공개 학습”이라고 부르는 것을 선호합니다. 그럼에도 불구하고 제품은 자신들이 할 수 있다고 말하는 것을 여전히 할 수 없을 때 출시되고 있습니다.
ChatGPT의 타사 앱 통합은 지침을 자주 오해하고 실제 작업을 수행하려는 시도는 두 앱을 단독으로 사용하는 것보다 느리고 혼란스럽고 덜 성공적이었습니다. 예를 들어, ChatGPT는 Canva 디자인이 변경되지 않았는데도 변경되었음을 알려주거나 Booking.com에서 잘못된 숙소 및 예약 가능 여부 세부 정보를 제공합니다. 기업들이 앱을 여기에 통합하기를 원하는 이유를 쉽게 알 수 있지만 현재 사용자가 얻을 수 있는 이점은 거의 없는 것 같습니다.
에이전트에도 문제가 있었습니다. 일부 일상적인 작업에는 유용할 수 있지만 기술, 안전, 운영상의 제한으로 인해 작업을 진행하지 못하는 경우가 많습니다. The Verge는 이를 느리고 신뢰할 수 없으며 결함이 있다고 불렀고 Wired는 작업이 ChatGPT 자체에서 제안한 작업인 경우에도 “ChatGPT 에이전트가 종종 잘못 클릭하거나 다른 오류를 통해 더듬거렸다”고 보고하여 “완전히 구운 릴리스가 아닌 개념 증명”처럼 보인다고 결론지었습니다.
시간 절약
OpenAI는 ChatGPT-5.2 출시를 발표했을 때 자사의 엔터프라이즈 버전이 이미 직원의 주당 약 3~10시간을 절약하고 있다고 밝혔습니다. 물론 AI 판매에 관심이 있는 회사라면 AI가 직원의 생산성을 높여준다고 말할 것입니다. 그러나 최근 연구에서는 다른 이야기를 들려줍니다. HBR(Harvard Business Review)의 연구에 따르면 품질이 낮은 AI로 생성된 “작업장”이 너무 많이 대량 생산되어 기업이 이를 수정하는 데 시간을 소비해야 하는 것으로 나타났습니다.
Workslop은 HBR에서 “좋은 작업인 것처럼 가장하지만 주어진 작업을 의미 있게 진전시킬 내용이 부족한 AI 생성 작업 콘텐츠”로 정의되었습니다. 이 모호하고 사무적인 것처럼 보이는 보풀은 결국 그것을 받는 사람들을 위한 작품을 만들게 됩니다. 왜냐하면 그들이 그것이 말하는 내용을 해결하는 데 시간을 소비한 다음 그것을 다시 보내거나 스스로 다시 작업해야 하기 때문입니다.
HBR이 진행 중인 이 연구 결과에 따르면 사람들은 받은 작업의 모든 부분을 처리하는 데 평균 거의 2시간을 소비해야 하는 것으로 나타났습니다. HBR은 개인이 나쁜 AI를 고치는 데 소비하는 시간이 한 달에 186달러에 해당한다고 추정했습니다. 코딩에도 비슷한 문제가 있습니다. METR(Model Evaluation & Threat Research)의 연구에 따르면 AI를 사용하면 작업 완료 속도가 19% 느려지는 것으로 나타났습니다. 흥미롭게도 사용자들은 AI가 시간을 절약하지 못했음에도 불구하고 여전히 AI가 시간을 절약했다고 생각했습니다.
돈 버는 중
이는 우리에게 피할 수 없는 질문으로 이어집니다. 현재 AI가 실제로 얼마나 유용한가요? 그리고 그것이 유용하지 않다면, 물을 많이 소모하는 데이터 센터의 환경 비용에도 불구하고 왜 기업은 물론 전 국가가 여기에 그렇게 많은 돈을 쏟아 붓고 있습니까? MIT의 Project NANDA(Networked AI Agents in Decentralized Architecture)에 따르면 AI를 사용하는 기업 중 무려 95%가 약 350억 달러에 달하는 기업 투자 추정에도 불구하고 아직 어떤 종류의 측정 가능한 수익도 얻지 못했습니다. 이 분야에 너무나 많은 돈이 지출되고 있지만 가시적인 결과는 거의 없습니다. 그래서 많은 전문가들은 우리가 1990년대 후반의 닷컴 버블처럼 곧 터질 인공지능 버블 속에 있다고 말하고 있습니다.
다보스에서 열린 세계경제포럼(World Economic Forum) 회의에서 마이크로소프트(Microsoft)의 사티아 나델라(Satya Nadella) 최고경영자(CEO)는 AI 기업이 “우리가 뭔가 유용한 일을 하기 위해 이것을 사용하는 지점에 도달해야 한다”고 말했습니다. 그는 그렇지 않으면 AI를 구동하기 위해 지구의 희소 자원을 계속 사용할 수 있는 “사회적 허가”를 잃게 될 것이라고 경고했습니다.
AI의 기발한 참신함(또는 Nadella가 말했듯이 “추상적 형태의 AI”)에 대한 관심이 있지만, 이것이 돈을 내고 싶어하는 일반 소비자로 해석되지는 않습니다. OpenAI는 여전히 수익을 내지 못하고 있습니다. 그리고 다른 어떤 AI 회사보다 훨씬 더 많은 사용자를 보유하고 있습니다. 이것이 바로 OpenAI가 현재 챗봇에 도입을 고려하고 있는 이유입니다. ChatGPT는 어떻게든 제작자를 위해 돈을 벌어야 합니다. 그러나 아무도 광고를 좋아하지 않는다는 점을 고려하면 이는 곧 목록에 추가할 또 다른 “끔찍한” ChatGPT 기능이 될 수 있습니다.
