전문가들이 지목한 AI가 오히려 해가 되는 3가지 영역

모든 비즈니스 기능에 AI를 무분별하게 도입하는 기업들은 고객을 소외시키고 브랜드 신뢰를 훼손하며 규제 기준을 위반할 위험이 있다고 업계 전문가들이 경고한다.

가장 숙련된 AI 실무자들은 무엇을 자동화하느냐가 아니라 무엇을 인간에게 맡기느냐로 정의된다. 업계 종사자들은 고객 서비스에서의 공감, 마케팅에서의 진정성, 규제 산업에서의 투명성이 AI가 오히려 해가 될 수 있는 세 가지 영역이라고 말한다.

"누군가가 계정 해지를 요청하며 전화를 걸어왔을 때, AI가 이를 처리하는 것은 식은 죽 먹기입니다. 하지만 남편을 잃은 미망인이 남편의 계정을 해지하려고 전화를 걸었다고 생각해보세요. 정말 AI가 그 상호작용을 처리하게 하고 싶으십니까?"라고 애플과 이베이에서 근무하며 AI 고객 서비스를 개척한 댄 레이바 전 임원은 말했다.

레이바의 우려는 공감을 넘어 확장된다. 이베이에서 결제 운영 책임자로 재직할 당시, 그는 생성형 AI의 가장 큰 우려 중 하나는 기업이 시스템이 내린 결정을 사후에 설명할 수 있느냐는 점이었다고 말했다. 이러한 투명성 문제는 결제, 의료, 법률 등 규제 산업에서 특히 심각하며, 대규모 언어 모델(LLM)은 여전히 편향된 블랙박스로서 변덕스러운 의사결정을 내린다고 그는 덧붙였다.

과도하게 자동화하는 기업은 제도적 지식과 인재 파이프라인을 잃을 위험이 있다고 레이바는 말했다. "우리는 누가 과도하게 자동화했고, 어떤 기업이 다른 기업과 차별화할 수 있는 지식을 잃었는지 보게 될 것입니다"라고 그는 덧붙였다. 이러한 경고는 1960년대 미국 정부가 평화로운 토공사에 원자폭탄을 사용하려 했던 '플로셰어즈(Project Plowshares) 프로젝트'를 연상시킨다. 이 프로그램은 궁극적으로 핵무기의 새로운 용도를 보여주기보다는, 핵무기를 절대 사용해서는 안 되는 경우가 언제인지를 증명했다.

공감의 격차

가정의학 및 정신의학 분야에서 이중 전문의 자격을 보유한 간호사인 나탈리 드세인은 상담 중 메모 작성부터 보험 청구 접수까지 6가지 AI 도구를 사용한다. 이 도구들은 주당 15~20시간을 절약해 주며, 단독 개원의로서 300명의 환자를 관리할 수 있게 해준다. 그러나 이러한 도구들이 제공하는 가장 중요한 기능은 정신과 상담 시간 동안 온전히 환자에게 집중할 수 있게 해준다는 점이라고 그녀는 말했다.

"정신과에서 환자와 교감하지 않으면 많은 증상을 놓칠 수 있습니다"라고 드세인은 말했다. "몇몇 환자들에게 '자해 생각을 하고 있습니까?'라고 물을 때가 있는데, 그들의 눈을 보지 않고 묻는다면 정확한 답을 얻을 수 없을 것입니다."

압박받는 진정성과 투명성

마케팅 분야에서는 AI가 생성한 콘텐츠가 소셜 플랫폼에 범람하면서 인간의 스토리텔링에 더 높은 프리미엄이 붙고 있다. 이 분석 기사를 작성한 WSJ 칼럼니스트 크리스토퍼 밈스에 따르면, 대기업들은 이제 링크드인 등에서 AI 쓰레기 콘텐츠를 뚫고 나가기 위해 인간 작가를 찾고 있다. 직접 화면을 보며 말하는 숏폼 비디오 인플루언서의 부상도 같은 추세를 반영한다.

이 문제는 더 넓은 정보 생태계로 확장된다. '유령 커플(The Ghost Couple)'이라는 제목의 연구에 따르면, 대규모 언어 모델은 가상 전문가를 생성할 때 엘레나 바스케즈, 마커스 첸 같은 소수의 높은 확률의 이름을 기본값으로 사용하며, 이로 인해 AI 생성 콘텐츠가 웹을 오염시키고 후속 모델을 합성 데이터로 훈련시키는 피드백 루프가 발생한다. "웹은 의도치 않게 LLM 행동 지문의 아카이브가 되고 있다"고 연구진은 적었다.

렉시스넥시스의 마이크 월시 CEO는 생성형 AI가 고객들이 법률 리서치 서비스를 사용하는 방식을 바꿨다고 말했다. 이제 고객들은 판례를 찾는 것보다 문서 초안을 작성하는 데 더 많은 시간을 보낸다. 그들이 확신을 가지고 그렇게 할 수 있는 이유는 렉시스넥시스 시스템이 데이터베이스에 존재하는 것이 확인된 판례만 인용하도록 설계되어 있기 때문이며, 이는 존재하지 않는 판례를 환각(hallucination)하는 일반 챗봇과는 다르다고 그는 설명했다. 이러한 시스템을 사용하는 변호사들도 여전히 AI가 생성한 모든 결과물을 검토한다고 월시는 강조했다.

투자자에게 이러한 시사점은 양방향으로 작용한다. 인간의 감독 없이 AI를 도입하는 기업은 규제 제재, 브랜드 손상, 고객 이탈로 인해 효율성 향상 효과가 상쇄될 위험이 있다. CEO들이 AI 기반 생산성 향상에서 기대하는 것과 직원들이 실제로 보고하는 것 사이에는 이미 큰 격차가 존재한다. 주니어 직원을 AI로 대체하는 기업은 자체 인재 파이프라인을 파괴할 위험이 있다. 시니어 엔지니어가 퇴사하면 AI의 작업을 검토할 인간이 남아 있지 않기 때문이다. AI 시대의 승자는 기술을 활용해 인간의 판단을 대체하는 것이 아니라 보강하는 기업이 될 것이다.

본 기사는 정보 제공 목적으로만 작성되었으며, 투자 조언을 구성하지 않습니다.