토큰의 함정, AI 단가는 내려가는데 지출은 왜 늘어날까?

5초짜리 답변 하나에 3억 개의 토큰이 들어갔습니다. 그리고 같은 작업을 어디서 수행하느냐에 따라, 비용 차이는 10배까지 벌어졌습니다.

지난 8월 25일 서울 삼성동 코엑스에서 열린 ‘델 테크놀로지스 포럼 2026’의 가장 큰 화두 중 하나는 ‘토크노믹스(Tokenomics)’였습니다. AMD와 인텔, 마이크로소프트, 엔비디아를 포함해 43개 기업이 스폰서로 참여했고, 메가존클라우드도 플래티넘 파트너사로 전시 부스와 브레이크아웃 세션을 운영했습니다.

토크노믹스는 LLM의 입출력 단위인 토큰의 소비량과 단가를 기준으로 AI를 쓸 때 나가는 돈을 관리하는 개념입니다. AI는 글을 읽고 쓸 때 토큰이라는 단위로 계산합니다. 이 토큰을 얼마나 쓰는지, 그리고 하나에 얼마인지를 보면 AI가 실제로 얼마짜리 일을 하고 있는지 알 수 있습니다.

토큰을 얼마나 쓰는가, 그리고 그 토큰을 얼마에 처리하는가. 기업이 받게 되는 청구서에는 이 두 가지가 동시에 들어 있습니다. 아껴 써도 비싼 곳에서 처리하면 소용이 없고, 싸게 처리해도 많이 쓰면 마찬가지입니다.

그런데 이상한 일이 벌어지고 있습니다. 모델 단가는 매년 내려가는데, 기업이 받아 드는 AI 청구서는 두꺼워지고 있습니다. 

모델 단가는 내려가는데 지출은 왜 늘어날까?

AI를 한 번 쓸 때 드는 값은 싸졌지만, 사용하는 횟수가 훨씬 더 빠르게 늘었기 때문입니다.

유상모 한국 델 테크놀로지스 사장은 그 배경을 한 문장으로 정리했습니다. “AI가 더 이상 조언자에 머물지 않고 실행자가 됐다“는 것입니다. 조언은 한 번 듣고 끝나지만, 실행은 계속됩니다.

맷 던피(Matt Dunfee) 델 수석부사장은 토큰의 경제학을 이해하지 못하면 AI 투자 수익을 회사로 돌려받기 어렵다고 강조했습니다. 토큰은 경험 뒤에 있는 계량기입니다. 사용자가 보는 건 답변이지만, 뒤에서는 미터기가 돌아갑니다. 최근 토큰 가격은 80% 떨어졌지만, 토큰 소비는 초기 생성형 LLM 대비 약 320배 늘었습니다.

소비가 늘어나는 이유는 에이전틱 AI의 작동 방식에 있습니다. 

목표를 기억하고, 도구를 호출하고, 결과를 확인하고, 계획을 고쳐 다시 반복합니다. 이 중 전체 토큰의 약 3분의 2가 최종 출력이 아니라 대화 맥락을 유지하고 작업을 반복하는 과정에서 나갑니다. 우리가 읽는 결과물은 낸 돈의 3분의 1에 해당하는 셈입니다.

던피 수석부사장이 공개한 델 내부 데이터는 한 걸음 더 나갑니다. 영업 부문에서 상위 10%의 사용자가 전체 토큰의 90%를 쓰고 있었습니다. 

만약 전 직원이 상위 10%만큼 쓰기 시작하면 어떻게 될까요?

그 순간 해당 유스케이스는 감당할 수 있는 비용이 아니게 됩니다. 토큰을 고정비가 아니라 변동비로 봐야 하는 이유입니다.

에이전트가 많아지면, 시스템에는 무슨 일이 생길까?

어떤 모델로, 어느 환경에서 처리하느냐에 따라 토큰 하나에 붙는 값이 달라지기 때문입니다. 

던피 수석부사장은 사고 발생부터 긴급팀 도착까지 걸린 시간을 계산해 주는 영상 검색·요약 시나리오를 시연했습니다. 5초짜리 답변 하나에 3억 개가 넘는 토큰이 들어갔고, 대부분이 입력 토큰이었습니다. 

같은 작업을 퍼블릭 클라우드의 가장 저렴한 소형 모델로 처리했을 때와 온프레미스에서 처리했을 때의 차이는 약 10배였습니다. 상위 모델로 바꾸면 격차는 더 벌어졌습니다. 

문제는 대부분의 기업이 이 선택을 할 기반 자체가 없다는 점입니다.

지금 기업이 쓰는 시스템 대부분은 사내 업무를 처리하려고 만든 것이지, AI를 염두에 두고 설계된 것이 아닙니다. 데이터가 놓인 위치도, 오가는 데이터의 성격도 다릅니다. 델이 국내 의사결정자를 대상으로 진행한 조사에서 72%가 현재 인프라로는 AI를 지원하기 어렵다고 답한 이유입니다. 

던피 수석부사장은 이어 부하, 즉 시스템이 감당해야 할 일의 성격 자체가 달라졌다고 강조했습니다. 

지금까지 기업 시스템은 사람 수를 기준으로 용량을 잡았습니다. 직원이 1,000명이면 동시에 접속하는 인원을 헤아려 서버를 준비하는 식이었습니다. 한 사람이 한 번에 하는 일에는 한계가 있으니, 부하도 어느 정도 예측이 됐습니다.

에이전틱 AI는 이 전제를 깹니다. AI 애플리케이션은 대부분 컨테이너 기반으로 작동합니다. 프로그램을 하나씩 독립된 상자에 담아 띄우는 방식인데, 에이전트 하나가 곧 상자 하나입니다. 사용자 한 명이 에이전트를 수십, 수백 개 띄우면 그만큼의 상자가 각자 자원을 기반으로 동시에 돌아갑니다.

시스템 부하가 하룻밤 사이에 10배에서 100배로 뛴다는 게 던피 수석부사장의 설명입니다. 쓰는 사람은 그대로인데 시스템이 상대해야 할 대상만 늘어난 셈입니다. 이제는 한 명의 사용자가 아니라 수천 개의 에이전트를 버텨야 하는 문제입니다.

수천 개를 버텨야 한다는 건 서버만의 문제가 아닙니다. 버텨야 할 대상이 수천 개라면, 지켜봐야 할 대상도 수천 개입니다. 서버를 늘려 감당은 해냈다 쳐도, 그 에이전트들이 각자 무엇을 하고 다니는지 모르면 비용도 보안도 손을 쓸 수 없습니다.

수천 개의 에이전트, 무엇으로 통제할까?

사람을 관리하듯 하나씩 들여다보는 방식으로는 감당이 안 됩니다. 대신 미리 규칙을 걸어둬야 하는데, 그 규칙이 두 층위로 나뉩니다. 가드레일과 하네스입니다. 

가드레일(Guardrail)은 개별 에이전트가 해도 되는 일과 하면 안 되는 일을 정하는 정책입니다. 하네스(Harness)는 에이전트들이 서로 주고받으며 일을 처리하는 방식 자체를 정하는 상위 구조입니다. 가드레일이 한 대의 차선 이탈을 막는 것이라면, 하네스는 도로 전체의 통행 규칙에 가깝습니다.

에이전트에게 맡기는 범위가 넓어질수록 지켜야 할 지점이 늘어납니다. 어떤 에이전트가 어떤 에이전트와 무엇을 주고받을지 예측하기 어려워지고, 그만큼 토큰 지출도 흔들립니다.

엔비디아 세션에서는 하네스가 성능이 아니라 경제성의 변수로 제시됐습니다. 오픈 모델 니모트론 3(Nemotron 3)를 오픈소스 하네스에 얹기만 했는데, 정확도는 그대로인 채 같은 결과를 내는 데 드는 토큰 비용이 눈에 띄게 줄었습니다. 모델을 바꾸지 않아도 실행 계층 설계만으로 비용이 움직입니다.

유상모 한국 델 테크놀로지스 사장이 기조연설에서 가장 중요하다고 짚은 숫자도 여기서 나옵니다. 기업 의사결정자 73%가 전략적 파트너에게 AI를 제안받을 때 보안과 사이버 복원력이 처음부터 포함되어 있기를 기대한다고 답했습니다. 

그렇다면 통제 장치는 어디에 두어야 할까요?

델이 내놓은 답은 온프레미스였습니다. 클라우드는 여러 서비스의 조합이라 일관된 거버넌스 정책을 적용하기 어렵지만, 온프레미스는 거버넌스를 내재화할 수 있다는 설명이었습니다.

절반은 맞습니다. 외부 ISV 서비스마다 정책 체계가 따로 노는 건 실무에서 실제로 골치 아픈 문제입니다. 다만 이 진단이 곧바로 온프레미스라는 답으로 이어지지는 않습니다. 대부분의 기업은 이미 여러 클라우드와 온프레미스를 함께 쓰고 있기 때문입니다.

질문이 조금 달라집니다. 어디에 둘 것인가가 아니라, 흩어진 환경에서 하나의 정책을 어떻게 지키게 할 것인가입니다. 인프라를 옮겨서 푸는 문제라기보다 통제 계층을 따로 세워서 푸는 문제에 가깝습니다.

지금 우리 조직이 확인해야 할 5가지

델 테크놀로지스 포럼 2026에서  반복해 다뤄진 건 하나입니다. AI 비용은 얼마나 쓰느냐와 어디서 처리하느냐가 함께 만드는 숫자입니다. 그리고 그 앞에 미리 규칙을 걸어두지 않으면 손을 쓸 수 없습니다. 

기업은 무엇부터 봐야 할까요?

지난달 AI에 얼마를 썼는지, 그중 어느 업무가 얼마를 가져갔는지, 그 업무가 무엇을 돌려줬는지. 이 세 숫자에서 출발하면 됩니다.

1. 가치가 높은 업무부터 골랐는가. 델은 사내에서 AI를 적용할 후보를 800개 뽑았다가 4개로 줄였습니다. 우리에게 그렇게 좁힐 기준이 있는지 확인이 필요합니다.
2. 토큰 예산을 미리 정했는가. 업무마다 소비량이 다릅니다. 단순 지식 업무 대비 개발 업무는 약 8배를 씁니다.
3. 어디서 처리할지 정했는가. 같은 작업의 비용이 10배까지 벌어집니다. 데이터가 있는 곳에서 처리되고 있는지가 출발점입니다.
4. 가드레일과 하네스를 나눠서 설계했는가. 개별 에이전트에 대한 통제와 에이전트 사이의 상호작용에 대한 통제는 다른 작업입니다.
5. 성과당 비용을 재고 있는가. 파일럿이 손익에 어떤 영향을 줬는지, 그 숫자를 가진 사람이 누구인지 확인해 보시기 바랍니다.

다섯 가지 모두 새 솔루션을 사자는 이야기가 아닙니다. 이미 진행되고 있는 AI 프로젝트에 대입해 보는 질문에 가깝습니다. 

토크노믹스는 결국 순서의 문제이기 때문입니다. 무엇에 쓸지 정하고, 얼마를 쓸지 정하고, 어디서 처리할지 정한 다음에 통제를 겁니다. 이 순서가 뒤집히면 비용은 쓰고 난 뒤에야 확인하는 숫자가 됩니다.

🤝 AI 도입 비용 구조와 거버넌스 설계, 어디서부터 손대야 할지 고민이시라면 메가존클라우드에 문의해 주세요!👉 지금 상담하기

📊 급변하는 AI 패러다임 속에서, 깊이 있는 테크 인사이트를 받아보고 싶으신가요? 메클레터 구독하기를 눌러주세요.👉 메클레터 구독하기

글 │메가존클라우드 마케팅유닛 김기림 매니저