AI 도입 ROI는 어떻게 계산해야 할까? — 토큰 비용이 아니라 업무 완료 비용을 봐야 하는 이유

AX 프로젝트를 하면서 가장 진이 빠지는 시점이 언제냐고 묻는다면, 나는 의외로 계약 전이라고 답할 것 같다. AI 모델을 고르고 PoC를 만드는 일보다, 아직 시작하지도 않은 프로젝트의 투자 가치를 설명하는 과정이 더 고될 때가 있다.

프로젝트는 시작도 안 했는데, 벌써 지친다

대기업에서 AX 프로젝트가 시작되는 과정은 생각보다 비슷하다. 사업부가 연간 AX 전환 미션을 세우고, 그에 맞춰 아이디어를 검토한다. 방향이 정해지면 구현 가능한 기술을 찾고 업체와 협의를 시작한다. 여기까지는 자연스럽다.

문제는 그 아이디어가 구체적인 업무 문제에서 출발하지 않았을 때다. 당장 해결할 병목과 목표가 정해져 있다면 대화는 비교적 빨리 좁혀진다. 반대로 연간 추진 실적으로 보여줄 만한 AX 프로젝트를 먼저 찾는다면, 무엇을 만들 것인가보다 왜 지금 예산을 써야 하는지를 설명하는 일이 커진다.

계약과 Kick-off에 이르기까지 비슷한 논의가 반복된다. 누구에게 필요한가. 다른 방법은 없는가. 투자한 만큼 무엇이 달라지는가. 그러다 보면 묘한 상황이 생긴다. 해당 업무를 가장 잘 아는 사업부가 아니라 외부 AX 컨설턴트가 CFO나 CIO를 설득할 논리를 사실상 만들어내는 자리에 서게 되는 것이다.

그때 어김없이 등장하는 계산이 있다. 직원 한 사람이 하루에 15분을 아낀다. 그 일을 200명이 한다. 연간 근무일수와 평균 인건비를 곱하면 얼마가 절감된다는 식이다. RPA 프로젝트 때부터 익숙한 산식이다. 산술은 맞을 수 있다. 그러나 숫자가 나왔다고 재무적 효과까지 발생한 것은 아니다.

사업부가 추진한 AX의 가치를 컨설턴트가 대신 증명하는 순간, 프로젝트의 역할부터 조금씩 어긋난다. 사실 그건 내 싸움이 아니다. 그럼에도 계약을 거쳐 일을 시작하고 현업에 도움이 되는 결과를 만들려면 나 역시 그 자리에 들어갈 수밖에 없다.

내 싸움은 아니지만, 내 싸움이다.

Investment pressure, Evidence boundary, Sponsor accountability의 세 영역이 AX mission과 investment review에서 bounded PoC와 observable work result를 거쳐 사업부 스폰서와 realized economic value로 이어지는 책임 구조를 보여주는 다이어그램
빠른 PoC는 타당성과 근거를 만들지만 생산 환경의 경제성을 자동으로 입증하지 않는다. 컨설턴트·IT·재무가 근거를 돕고, 사업부가 유효한 결과와 실현 가치를 설명한다.

하루 15분이 줄었다고, 그 돈이 회사에 남는 것은 아니다

시간을 절약한 사실 자체를 폄하하고 싶지는 않다. 그런 개선이 쌓여 업무 방식이 달라지기도 한다. 다만 절약한 시간과 실제로 회수된 가치를 구분해야 한다.

외주 비용이나 초과근무 수당이 실제로 줄었다면 직접적인 비용 절감이다. 같은 인원으로 더 많은 문의를 처리하거나 추가 채용 없이 증가한 업무를 감당했다면 생산적 역량의 실현이라고 볼 여지가 있다. 하지만 직원이 15분 덜 걸렸다는 측정만 있고 그 뒤의 업무량이나 비용 변화가 확인되지 않았다면, 아직은 잠재적인 여유 시간이다.

같은 시간을 인건비 절감으로 한 번 세고 추가 매출로 다시 세어서는 안 된다. 무조건 현금 지출이 줄어야만 가치가 있다는 뜻도 아니다. 어떤 가치가 실제로 발생했고, 누구의 기록으로 확인할 수 있는지를 분리하자는 이야기다.

절약한 시간은 결과가 아니라, 이제 무엇을 더 할 수 있는지를 묻기 위한 출발점이다.

빠른 PoC는 사업부가 자기 업무를 설명할 수 있게 만드는 과정이다

이런 상황에서 내가 빠른 PoC를 중요하게 보는 이유는 데모를 예쁘게 만들기 위해서가 아니다. 추상적인 AX 미션을 실제 업무 하나로 끌어내리기 위해서다.

지금 하는 일을 하나만 가져와 보자고 한다. 어떤 자료를 확인하고, 어디에서 담당자의 판단이 필요하고, 결과가 어떤 시스템에 남아야 끝난 일인지 확인한다. AI에게 맡길 구간은 작아도 괜찮다. 오히려 처음부터 모든 절차를 자동화하겠다는 계획보다 확인 가능한 업무 한 건이 훨씬 낫다.

사업부 담당자는 여기서 중요한 질문을 하기 시작한다. 이 답변은 최신 자료를 봤는가? 고객에게 보내기 전에 사람이 확인해야 하는가? CRM에 기록되지 않으면 다음 담당자는 어떻게 알 수 있는가? 이런 질문이 나오면 회의의 성격이 바뀐다. AI를 도입할 것인가에서, 우리 업무의 어느 부분을 어떻게 바꿀 것인가로 이동한다.

컨설턴트는 구현 가능성을 보여주고, IT는 접근 권한과 운영 경계를 확인한다. 사업부는 무엇이 유효한 결과인지 정한다. 재무 담당자는 실현된 경제적 가치를 확인한다. 이 네 역할이 구분되어야 컨설턴트 혼자 투자 가치를 설명하는 상황을 줄일 수 있다.

좋은 PoC는 컨설턴트가 옳았다는 증명이 아니다. 사업부가 자기 업무의 변화를 직접 설명할 수 있게 되는 과정이다.

물론 PoC가 성공했다고 생산 환경의 경제성까지 입증되는 것은 아니다. 시연을 운영 서비스로 전환하면 접근 권한, 장애 복구, 시스템 연동과 지속적 검증 등 새로운 비용이 생긴다.

AI가 답변을 만들었다는 것은, 업무가 끝났다는 뜻이 아니다

B2B 기술 문의를 처리하는 업무를 생각해 보자. 아래는 설명을 위한 가상의 업무 사례이며, 실제 고객 프로젝트의 실적은 아니다.

고객이 제품 호환성을 문의한다. AI가 문서를 검색하고 답변 초안을 만든다. 모델 입장에서는 일이 끝났다. 그러나 담당자 입장에서는 이제 시작일 수도 있다. 그 문서가 승인된 최신 자료인지, 고객 구성이 맞는지, 누가 답변을 승인할지, 실제 발송과 CRM 기록까지 끝났는지 확인해야 한다.

필요한 검증과 기록이 끝나고 책임자가 결과를 인정했을 때 비로소 업무 한 건이 완료된다. 여기서는 이를 Accepted Business Outcome, 즉 검증된 업무 완료 결과라고 부르겠다. 모든 업무에 인간 승인이 필요하다는 뜻은 아니다. 위험도가 낮다면 사전에 승인된 규칙과 독립적인 시스템 Readback으로 완료를 판정할 수도 있다.

고객 문의가 AI 생성 초안으로 바뀐 뒤 승인된 최신 자료와 고객 구성 확인, 정책 경로를 거쳐 필요한 경우 사람 승인 또는 사전 승인 규칙, 시스템 기록 확인 후 Accepted Business Outcome으로 이어지는 프로세스 다이어그램
AI가 답변 초안을 만든 것만으로 업무가 끝나지는 않는다. 적용 가능한 근거와 권한을 확인하고 시스템 기록까지 검증해야 완료 결과로 인정할 수 있다.

실패한 답변을 세 번 다시 만들었다고 세 건의 성공이 되는 것은 아니다. 재시도해도 업무 식별자는 동일해야 한다. 처음 반려된 초안이 수정돼 최종 승인됐다면 최초 통과율과 최종 완료율은 다른 지표다. 그 과정에서 발생한 재작업 시간 역시 비용에서 사라지지 않는다.

업무 한 건의 성공은 LLM이 선언하는 것이 아니라, 그 업무를 책임지는 시스템과 사람이 확인하는 사실이다.

가장 저렴한 모델이 가장 저렴한 업무 처리 방법은 아니다

이제 수작업, AI 보조, 제한된 자동화가 동일한 종류의 업무를 처리한다고 가정하자. 난이도와 기간, 정확성 기준을 맞춰야 비교가 된다. AI에게 쉬운 문의만 주고 수작업에 어려운 문의를 남긴다면 예쁜 ROI는 얼마든지 만들 수 있다.

모델 호출에는 눈에 보이는 가격표가 있다. 반면 운영비에는 현업 검토 시간, 재검색과 재시도, 잘못된 응답의 수정, 접근 권한 확인, 변경된 업무 규정에 따른 평가 데이터와 Guardrail 유지보수, 예외 처리와 기록 재확인이 숨어 있다. 기존 시스템에서도 발생하던 비용을 AI의 신규 원가로 전부 돌리는 것도 피해야 한다.

가상의 숫자로 비교해 보자. 수작업으로 100건을 맡아 90건을 유효하게 완료했고 총비용이 270만 원이었다면 완료 건당 원가는 3만 원이다. AI 보조 방식은 총비용이 240만 원으로 더 낮았지만 유효 완료가 80건이었다면 건당 원가는 역시 3만 원이다. 총액이 줄었다는 이유만으로 처리 경제성이 좋아졌다고 단정할 수 없다. 두 방식의 남은 미완료 업무와 품질 차이도 확인해야 한다.

공식은 간단하다. 유효 완료 건당 원가는 같은 기간의 업무 처리 관련 총원가를 중복을 제외한 유효 완료 건수로 나눈 값이다. 실패와 재작업 비용은 분자에 남고 검증되지 않은 결과는 분모에 넣지 않는다. 이 숫자가 낮아졌다고 해서 재무적 ROI가 자동으로 입증되는 것도 아니다.

모델 호출 비용을 줄이는 일과 회사의 업무 처리 원가를 줄이는 일은 같은 최적화가 아니다.

CFO가 믿을 숫자는 결국 어디서 나오는가

필요한 자료는 거창한 보고서보다 조금 투박한 원장 하나에 가깝다. 어떤 업무를 몇 건 처리했고 무엇을 완료로 인정했으며, 검토와 재작업에 얼마가 들었고, 이후 무엇이 실제로 달라졌는지 기록하는 것이다.

업무 식별자와 난이도 집단, 관찰 기간, 대상 건수, 유효 완료 건수, 최초 통과율, 검토 및 재작업 시간, 모델·도구 비용, 합리적으로 배분한 운영·보안 비용, 품질 위반 여부, 실제 회수된 비용 또는 생산성의 증거가 출발점이다.

사업부의 설명도 바뀌어야 한다. ‘원래 40분 걸리던 일이 15분으로 줄었습니다’에서 끝나지 말자. ‘같은 품질로 더 많은 문의를 처리했고 고객 대기시간이나 실제 비용이 어떻게 바뀌었는지 확인했습니다’까지 갈 수 있어야 한다. 아직 확인되지 않았다면 가설로 남기면 된다.

McKinsey의 2026년 AI 가치 측정 연구는 기술 성능, 채택, 운영 성과와 재무적 효과를 연결하는 책임 있는 측정을 강조한다. 결국 사업부의 업무 기록이 투자 논리로 이어져야 한다는 이야기다.

모든 AX 프로젝트를 끝까지 추진할 필요는 없다

측정 결과는 네 가지 결정을 돕는다. 품질과 통제가 충족되고 가치가 지속적으로 입증되면 확장한다. 일부 업무에서만 효과가 있다면 범위를 좁힌다. 재작업과 검토 시간이 이익을 잠식한다면 설계를 바꿔 다시 시험한다. 안전한 실행이 불가능하거나 경제성이 나오지 않으면 중단하고 수작업 또는 Rule 기반 자동화로 돌아간다.

‘40% 절감하면 확장’ 같은 보편적인 숫자를 정답으로 내세우지 않는다. 업무마다 실패했을 때의 피해가 다르다. 보안과 권한 위반을 비용 절감으로 상쇄하는 계산은 특히 성립하지 않는다.

Gartner의 2026년 Agentic AI 분석은 포괄적인 범용 Agent보다 특정 도메인 업무에 집중한 접근의 가치를 강조한다. 작은 업무에서 확인 가능한 결과를 만드는 빠른 PoC와 맞닿은 부분이다. 다만 Gartner의 미래 ROI 전망을 검증된 현재 수익률처럼 소개해서는 안 된다.

일치된 업무량과 총 업무 처리 원가를 유효 완료 건수로 나누는 운영 단위경제, 별도로 검증하는 실현 가치, 하드 제약조건을 거쳐 Scale·Narrow scope·Redesign·Stop의 네 가지 투자 결정으로 이어지는 프레임워크
완료 건당 원가와 실제로 실현된 비용 또는 생산성 가치를 분리해 확인하고, 안전·권한·정책 제약을 통과한 경우에만 확장·축소·재설계·중단을 결정한다.

마지막 장표는 사업부가 설명할 수 있어야 한다

AX 컨설턴트는 생각보다 많은 일을 한다. 기술을 검토하고, 아키텍처를 설계하고, PoC를 구현한다. 그러다가 어느 순간 사업부의 투자 타당성을 설명하는 자리까지 함께 들어간다. 특히 개선할 업무가 아직 명확하지 않은 상태에서 절감액부터 계산해야 할 때는 더 지친다.

그렇다고 그 숫자를 조금 더 그럴듯하게 만드는 것이 컨설턴트의 역할이라고 생각하지는 않는다. 내가 할 수 있는 일은 사업부가 자기 업무를 다시 보도록 돕는 것이다. 실제로 동작하는 작은 결과를 함께 만들고 무엇이 달라졌는지 확인할 근거를 남기는 것. 그리고 어느 순간부터는 사업부가 그 결과를 스스로 설명할 수 있어야 한다.

PoC의 결론이 ‘아직 투자할 이유가 없다’여도 괜찮다. 불필요한 도입을 피했다면 그 역시 가치 있는 판단이다. 투자한다면 AI가 몇 분을 아끼는지가 아니라 무슨 업무를 어떤 품질로 끝냈고 그 가치가 실제로 어디에 남았는지를 보여주자.

내 싸움은 아니지만, 내 싸움이다. 다만 그 싸움의 끝에서는 내가 아니라 사업부가 자기 성과를 설명하고 있어야 한다.