기업 AI 활용 증가할수록 ‘토큰’ 관리 필요성 커진다

[산업일보]
인공지능(AI) 활용 역량이 기업·개인의 경쟁력 척도로 자리 잡으면서, AI 모델 사용의 계량 단위인 ‘토큰(Token)’의 사용량과 비용을 재무적으로 관리하는 체계를 갖춰야 한다는 제언이 나온다.

한국 딜로이트(Deloitte) 그룹의 ‘AI 토큰 경제: CFO를 위한 AI 손익관리 가이드’ 보고서에 따르면 지난 7년간 데이터센터·GPU·클라우드 컴퓨팅 등 AI 인프라 투자 규모는 미국 주(州)간 고속도로망 구축이나 1990년대 말 인터넷 기업 열풍 시기 주요 인프라 투자 규모를 능가했다. 또한 지난해 2분기 기준 경영진의 75%가량은 지난 12개월 동안 AI에 투자했다.

보고서는 최고재무책임자(CFO) 관점에서 AI 투자는 비용 구조 자체를 바꾸는 변화라고 지목했다. 운영 비용과 마진, 자본 계획 전반 등 기업 내 변동성을 높이기 때문에, AI 비용 구조를 조기에 파악하고 측정·관리하는 것이 중요해졌다는 것이다.

이러한 AI 비용은 토큰을 기준으로 계산된다고 설명했다. 토큰은 AI가 문장을 읽고 쓸 때 쓰는 최소 단위로 프롬프트와 대화 이력, 데이터 조회 같은 입력은 물론 AI 에이전트가 이메일을 보내거나 코드를 실행하는 작업도 출력값으로 반영된다. 사용자 수나 라이선스 개수, 계약 기간처럼 정해진 단위로 정산하던 기존 서비스 사용 방식과 달리, AI 비용은 실제 사용한 토큰의 양만큼 비용이 발생한다.

보고서는 AI에 질문을 하나 보낼 때마다 입력 토큰과 출력 토큰이 함께 사용된다며, 1천500단어가 토큰 약 2천48개에 해당한다고 계산했다. 여러 차례 주고받는 대화는 입·출력을 합쳐 5천 개가 쓰이기도 한다고 봤다. 또 기본형 챗봇은 구독자 한 명당 연간 940만 개, 슈퍼 에이전트는 사용자 한 명당 최대 3억 5천600만 개를 소비한다고 분석했다.

실제로 딜로이트와 협업한 대형 헬스케어 기업의 토큰 사용량이 월 8~10%씩 늘어 6개월 만에 1조 개에 달했는데, 추가 비용이 연 환산 600만 달러 이상이었다고 전했다.

토큰이 제조업의 변동원가처럼 쓸수록 비용이 늘지만 수요 통제는 훨씬 어렵다고 지적하기도 했다. 대표적으로 미국 통신사 AT&T의 사례를 제시했다. 이 회사에서는 10만 명 이상의 직원들에게 AI 솔루션을 지원하고 워커 에이전트 전반에도 AI를 도입했는데, 하루 토큰 사용량이 80억 개에 육박했다. 이후 슈퍼 에이전트가 여러 워커 에이전트를 관리하는 멀티에이전트 체계로 전환해 하루 사용량이 270억 개로 3배 늘었지만 비용은 90% 줄었다.

토큰 단가도 변수라고 짚었다. 호스팅 방식에 따라 단가가 달라지며, AI 도입 규모에 따라 어떤 방식이 유리한지도 바뀌기 때문에 지출 증가 폭 가늠이 어렵다는 분석이다.

보고서는 토큰 흐름을 관리하지 않을 경우 비용 예측의 오차가 확대되고 숨은 비용에 의해 마진이 잠식되며, 자본 지출 결정이 늦어짐과 동시에 AI 투자 성과 입증에 대한 부담이 확대된다고 경고했다.

토큰 비용구조 관리 원칙으로는 ▲사업 가치 중심의 AI 투자 재편 ▲비용 대비 창출 가치로 투자 타당성 검증 ▲비용 및 성과 관리 체계 구축을 제시했다. 현재 많은 기업의 AI 전략이 실질적 사업 가치보다 경쟁에서 뒤처질 수 있다는 불안감에서 출발한다며, 명확한 사업 가치를 창출하는 전략적 투자에 우선순위를 둬야 한다고 진단했다.

보고서는 기업의 핵심 전략이 AI 확장으로 설정됐다면, CFO의 과제는 토큰 사용량과 비용을 재무적으로 관리하는 것이라고 조언했다.

구체적으로는 토큰 사용 추이를 내다보고, 명확한 예산 기준을 엄격하게 적용하며, 손익에 미치는 영향을 지속적으로 점검하는 관리체계를 갖춰야 AI 투자의 경제성을 높이고 장기적인 경쟁우위를 확보하는 기반을 다져야 한다고 짚었다.