당신의 LLM 솔루션이 느린 이유

이재민 팀장, AIWORKX LLM/LMM 연구팀

이재민 팀장

AIWORKX LLM/LMM 연구팀

한국어 목적 지향 대화와 NLU 모델을 연구하고, AxDC™의 대화 판단 구조를 만듭니다.

NLU목적 지향 대화AxDC™

프로토타입에서는 잘 동작하던 LLM 솔루션이 실제 서비스 환경에 들어가면 갑자기 느려지는 경우가 많습니다. 사용자가 기다려야 하는 시간이 길어지고, 요청량이 늘어날수록 추론 비용도 빠르게 불어납니다.

2017년 Transformer를 제안한 논문 「Attention Is All You Need」 이후 ChatGPT, Claude 같은 대규모 언어 모델(LLM)이 등장했고, 이제 LLM은 개발 도구부터 검색, 고객 지원, 업무 자동화까지 다양한 서비스의 구성 요소가 됐습니다. API를 호출하고 프롬프트를 작성하면 그럴듯한 결과를 금방 얻을 수 있을 만큼 제품에 넣기도 쉬워졌습니다.

그런데 왜 서비스에 들어가면 느려질까요?

LLM은 기본적으로 ‘생성’을 한다

ChatGPT나 Claude의 응답을 보면 문장이 한 번에 나타나지 않고 토큰 단위로 차례차례 출력됩니다.

LLM의 기본 동작 방식과 관련이 있습니다. 일반적인 자기회귀(autoregressive) 모델은 앞서 생성한 토큰을 바탕으로 다음 토큰을 예측합니다. 긴 응답을 만들려면 이 예측을 토큰 수만큼 반복해야 합니다. 500개의 토큰을 생성해야 한다면 모델은 다음 토큰 예측을 500번 차례로 해야 합니다.

문제는 여기서 끝나지 않습니다. 실제 서비스에서 LLM이 맡는 업무 가운데에는 긴 텍스트를 생성할 필요가 없는 경우가 상당히 많습니다. 사용자의 의도를 분류하거나, API를 호출할지 결정하거나, 알맞은 에이전트로 요청을 전달하거나, 특정 조건에 따라 예/아니오를 판단하는 작업이 대표적입니다. 이런 작업에서 시스템이 최종적으로 필요한 결과는 사실 한두 개의 값에 불과할 수 있습니다.

예를 들어 사용자의 요청이 환불에 관한 것인지 판단하는 시스템이라면, 최종적으로 필요한 결과는 다음과 비슷합니다.

{ "intent": "refund" }

그런데 이 결과 하나를 얻으려고 대형 범용 생성 모델을 호출하고, 모델이 텍스트를 생성하기를 기다려야 한다면 효율적인 구조라고 보기 어렵습니다.

이 출력은 10토큰 안팎이라 생성 자체는 금방 끝납니다. 시간은 대개 다른 곳에서 샙니다.

  • 모델이 크면 토큰 하나를 처리하는 연산부터 무겁습니다.
  • 긴 시스템 프롬프트, 도구 설명, 참고 문서를 먼저 읽는 입력 처리에 시간이 듭니다.
  • 추론형 모델은 답하기 전에 보이지 않는 ‘생각’ 토큰을 수백, 수천 개씩 만들기도 합니다.
  • 에이전트가 판단할 때마다 모델을 차례로 다시 부르면 대기 시간이 쌓입니다.
  • 네트워크 대기와 형식 오류 뒤의 재시도가 더해집니다.

결정 하나를 위해 이 비용을 요청마다 치르는 셈입니다.

문제는 ‘생성’과 ‘결정’을 구분하지 않는 데 있다

LLM을 서비스에 적용할 때 흔히 생기는 문제는 모든 작업을 하나의 생성 모델에 맡기는 것입니다. 사용자 입력이 들어오면 LLM을 호출하고, LLM이 판단한 뒤 JSON을 생성하고, 애플리케이션이 이를 다시 파싱하는 방식입니다. 간단한 작업에서도 이 과정이 반복됩니다.

Structured Outputs나 함수 호출(function calling)로 출력 형식을 강제하면 파싱 오류는 줄일 수 있습니다. 다만 결정 하나를 위해 대형 모델을 매번 부르는 비용과 지연은 그대로 남습니다.

시스템 관점에서 보면 필요한 과정은 훨씬 단순할 수 있습니다. 사용자의 입력을 먼저 분석해 의도를 파악하고, 그 결과에 따라 다음 행동을 결정하면 됩니다. 필요한 경우에만 API나 외부 시스템을 호출하고, 자연어로 응답해야 하는 시점에만 생성 모델을 쓰면 됩니다.

토큰으로 따져 보면 차이가 더 분명합니다. 결정을 생성 모델에 맡기면 긴 프롬프트를 읽는 입력 토큰과 답을 만드는 출력 토큰이 요청마다 비용이 됩니다. 분류 모델은 필요한 맥락만 읽고 정해진 값 하나를 돌려줍니다.

모든 문제를 ‘텍스트 생성 문제’로 볼 필요는 없습니다. 서비스의 상당 부분은 오히려 ‘결정 문제’에 가깝습니다.

결정이 목적이라면 생성하지 않아도 된다

최근에는 이 문제를 풀려고 LLM을 생성기가 아니라 의사결정 모델로 쓰는 접근이 나오고 있습니다. 2026년 9월 TypeSafe AI가 공개한 Jev가 그런 사례입니다. TypeSafe AI는 Jev를 소프트웨어 안의 결정을 위해 만든 ‘System One 모델’의 첫 공개 모델로 소개합니다. 판단할 상태(텍스트나 JSON)와 타입이 정해진 질문을 넣으면 선택지 가운데 하나(Choice), 척도 점수(Score), 참일 확률(Noul) 같은 값을 확률, 신뢰도와 함께 돌려주고 텍스트는 만들지 않습니다(TypeSafe AI 공식 사이트, 문서).

핵심적인 차이는 모델의 출력 방식에 있습니다. 일반적인 LLM은 자유로운 텍스트를 생성합니다. 반면 의사결정에 특화된 모델은 애플리케이션이 바로 쓸 수 있는 제한된 형태의 결과를 돌려주도록 설계할 수 있습니다. 분류 결과나 점수, 확률 같은 값을 직접 돌려주는 방식입니다.

이런 구조에서는 애플리케이션이 처리해야 할 문제가 줄어듭니다. 텍스트를 생성한 뒤 다시 JSON으로 바꾸고 파싱하는 과정 없이, 처음부터 시스템이 쓸 수 있는 형태의 값을 받기 때문입니다. 지연 시간뿐 아니라 시스템의 안정성에서도 차이가 생길 수 있습니다.

빠른 모델만으로는 충분하지 않다

물론 생성 과정을 없앤다고 모든 문제가 해결되지는 않습니다. 오히려 시스템을 설계하는 단계에서 할 일이 늘어날 수 있습니다.

생성 모델은 비교적 자유로운 질문에도 대응할 수 있지만, 분류나 의사결정 모델은 어떤 결과를 만들어야 하는지 명확하게 정의해야 합니다. 서비스가 가질 수 있는 상태, 사용자의 의도를 나누는 기준, 의도마다 수행할 행동을 미리 정해야 합니다. 어떤 조건에서 외부 API를 호출하고, 어떤 경우에 사용자에게 정보를 더 묻고, 언제 대화를 끝낼지까지 대화 흐름을 구체적으로 설계해야 합니다.

이 설계 부담을 줄이는 방법이 스키마 기반(Schema-Guided) 접근입니다. 서비스마다 의도와 슬롯을 스키마로 정의해 두면, 모델은 스키마를 읽고 처음 보는 서비스에도 대응합니다. AIWORKX는 도메인을 바꿀 때 대화 상태 추적(DST)과 대화 정책(DP) 정의만 바꾸는 방식으로 이 부담을 줄여 왔습니다.

모델의 크기만이 답은 아닙니다. 어떤 문제를 생성 문제로, 어떤 문제를 결정 문제로 정의하느냐가 아키텍처의 성능을 좌우합니다.

AxDC™ 안에서 NLU가 맡는 판단

AIWORKX는 2026년 5월 AI EXPO KOREA 2026에서 AxDC™를 소개했습니다. LLM이 멈추는 지점에서 사람이 수행해 온 업무를 끝까지 처리하는, 산업별 솔루션의 공통 기반이 되는 핵심 엔진 기술입니다. 이 엔진에서 사용자의 말을 듣고 다음 행동을 정하는 첫 관문이 자연어 이해(NLU)입니다.

우리는 모든 요청을 하나의 범용 LLM에 넘겨 처리하기보다, 대화의 상태와 사용자의 의도를 먼저 구조화하는 방식을 써 왔습니다. 사용자의 목적을 끝까지 수행하도록 대화를 설계하는 목적 지향 대화(Task-Oriented Dialogue) 구조입니다.

사용자의 입력이 들어오면 먼저 NLU 모델로 의도(Intent)와 개체(Entity)를 추출합니다. 이어서 현재 대화의 상태를 파악하고, 그 상태에 따라 시스템이 어떤 행동을 취해야 하는지 결정합니다.

요청을 바로 처리할 수 있다면 다음 단계로 진행하고, 추가 정보가 필요하다면 필요한 내용을 다시 묻습니다. API 호출이나 외부 시스템 연동이 필요한 경우에는 해당 작업을 수행하고, 별도의 자연어 응답이 필요한 시점에만 생성 모델(NLG)을 호출합니다.

DECISION FIRST, GENERATION WHEN NEEDED

결정은 먼저, 생성은 필요한 곳에서만

INPUT사용자 발화들어온 요청 그대로

결정 구간: 작은 분류 모델과 규칙이 맡는다

NLU의도와 개체 추출무엇을, 어떤 값으로
STATE대화 상태 파악지금 어디까지 왔나
POLICY다음 행동 결정분류 모델과 규칙이 판단
바로 처리할 수 있을 때API 호출, NLG 응답생성은 필요할 때만
정보가 부족할 때사용자에게 되묻기답을 받아 다시 판단
확신이 낮을 때대형 모델, 담당자에게신뢰도 기반 라우팅
[그림 1] AxDC™ 안에서 NLU가 맡는 판단 구조. 결정은 분류 모델과 규칙이 먼저 하고, 생성 모델(NLG)은 자연어 답이 필요한 순간에만 부릅니다. 정보가 부족하면 되묻고, 확신이 낮으면 대형 모델이나 담당자에게 넘깁니다.

이 구조에서는 생성 모델이 모든 일을 담당하지 않습니다. 상태를 판단하고 다음 행동을 정하는 일은 구조화된 로직과 분류 모델이 맡습니다. 핵심은 결정을 먼저 하고, 생성은 필요한 곳에서만 쓰는 것입니다.

확신이 낮을 때의 경로도 미리 정해 둡니다. 신뢰도 기반 라우팅은 모델이 내린 판단의 확신 정도에 따라 다음 처리 경로를 나누는 방식입니다. 확신이 충분하면 바로 처리하고, 낮으면 사용자에게 되묻거나 대형 모델이나 담당자에게 넘깁니다. 틀렸을 때 비용이 큰 결정일수록 넘기는 기준을 높게 잡습니다.

실제 서비스에서는: AI 돌봄 콜의 예

AIWORKX의 AI 돌봄 서비스 솔루션 Callbot Studio도 같은 원리를 따릅니다. 홀로 사는 어르신이나 1인 가구에 전화를 걸어 일상 대화로 안부를 확인할 때, 안부를 묻고 답하는 대화는 생성 모델이 맡습니다. 통화에서 이상 신호가 보였는지는 따로 판단해 관리자 화면에 띄우고, 담당자가 이어받습니다.

Jev와 AIWORKX NLU, 무엇이 같고 무엇이 다른가

Jev와 우리 NLU는 같은 문제를 다른 방식으로 풉니다. 둘 다 텍스트 대신 애플리케이션이 바로 분기에 쓸 수 있는 값을 돌려준다는 점은 같습니다. 다른 점은 아래와 같습니다.

항목Jev(TypeSafe AI)AIWORKX NLU(AxDC™)
돌려주는 값타입이 정해진 값(Choice, Score, Noul)과 확률, 신뢰도의도, 행동, 슬롯 값 같은 대화 상태
텍스트 생성하지 않음정해진 형식의 짧은 값만 출력
확신이 낮을 때신뢰도 값을 보고 코드에서 분기대화 정책이 되묻기나 넘기기를 결정
새 도메인 적용질문과 선택지를 코드로 정의서비스 스키마(의도, 슬롯)를 정의
언어공개 자료에 한국어 언급 없음(2026년 10월 기준)한국어 업무 대화
배포호스팅 API(사전 신청)로컬, 설치형(온프레미스)
공개 근거공식 사이트와 문서(성능 수치는 자체 보고)Hugging Face KoSGD 데이터셋 카드

정확도와 지연 시간은 함께 재야 한다

비즈니스 환경에서는 모델의 생성 품질만 비교해서는 부족합니다. 실제 서비스에서는 정확도뿐 아니라 추론 지연 시간, 요청당 비용, 출력 안정성, 오류 처리 난이도, 시스템 확장성, 외부 API와의 연동성 등을 함께 고려해야 합니다.

같은 과제로 모델을 비교한다면 적어도 다음 네 가지를 함께 재 보길 권합니다.

  • 응답 시간의 중앙값(p50)과 느린 쪽 끝(p95)
  • 요청 1,000건당 비용
  • 형식 오류와 재시도 비율
  • 대형 모델이나 사람에게 넘긴 비율

AIWORKX가 Hugging Face에 공개한 KoSGD(Korean Schema-Guided Dialogue) 데이터셋 평가에서도 이런 구조화된 대화 처리 방식의 성능을 확인할 수 있습니다. KoSGD는 Google Research의 스키마 기반 대화 데이터셋(SGD)을 한국어로 옮긴 뒤 전문 인력이 전수 검수한 데이터셋으로, 21개 서비스와 테스트셋 기준 84,594턴의 대화를 담고 있습니다.

데이터셋 카드에 공개된 평가에서 AIWORKX의 14B 규모 로컬 모델(aiworkx/nlu-14B)은 의도 분류 90.9, 행동 분류 97.7을 기록했고, 두 정확도의 조화평균인 I-A Harm Mean은 94.2였습니다. 같은 표에서 같은 14B 규모의 공개 모델 Qwen3-14B는 의도 분류 75.4, 행동 분류 71.7이었고, GPT-5는 각각 84.1, 81.2였습니다.

평가 조건: 공개 모델은 같은 생성 설정(temperature 0.7, top_p 0.8 등), 상용 모델은 모델명만 지정하고 API 기본값으로 평가(2025년 12월 26일 접속). 수치는 2026년 10월 데이터셋 카드 기준입니다.

다만 특정 벤치마크의 점수가 곧바로 모든 실제 서비스에서의 성능을 의미하는 것은 아닙니다. 실제 환경에서는 데이터 분포와 태스크, 모델 구성, 추론 환경에 따라 결과가 달라질 수 있기 때문입니다. 벤치마크 점수와 실제 서비스 평가의 차이는 「AI 에이전트 평가, 왜 기존 LLM 벤치마크로는 부족한가」에서 더 자세히 다뤘습니다.

중요한 것은 특정 숫자 자체보다, 비즈니스 문제를 구조화하고 이를 모델의 입력과 출력에 반영하는 접근법입니다.

모든 문제에 가장 큰 모델이 필요한 것은 아니다

LLM의 발전을 지켜보면서 우리는 자연스럽게 ‘더 큰 모델’, ‘더 강력한 추론’, ‘더 좋은 생성 품질’에 집중해 왔습니다. 하지만 서비스를 만드는 입장에서는 다른 질문도 필요합니다.

  • 이 문제는 정말 생성이 필요한가?
  • 사용자의 요청을 분류하는 데 긴 문장이 필요한가?
  • API를 호출할지 정하려고 추론 토큰을 수천 개씩 만들어야 하는가?
  • 특정 에이전트로 라우팅하는 데 범용 추론 모델을 매번 호출해야 하는가?

그렇지 않다면 더 작은 모델이나 분류 모델, 규칙 기반 로직으로 문제를 해결할 수 있습니다. 정말 복잡한 추론이나 자연어 생성이 필요한 부분에서만 프론티어 LLM을 쓰는 것이 하나의 방법입니다. 결국 중요한 것은 ‘어떤 모델을 쓸 것인가’보다 ‘각 작업에 어떤 종류의 모델이 필요한가’에 가깝습니다.

LLM 기반 서비스를 설계하고 있다면 현재 아키텍처를 한 번 펼쳐 볼 필요가 있습니다. 단순한 결정이 필요한 곳에서 생성 모델을 호출하고 있지는 않은지, 생성 결과를 다시 파싱하려고 불필요한 단계를 더하고 있지는 않은지, 모든 요청을 하나의 거대한 모델에 몰아주고 있지는 않은지 살펴볼 수 있습니다.

설치형(온프레미스)으로 운영해야 하는 금융, 공공 환경이라면 더욱 그렇습니다. GPU 자원이 한정돼 있어, 작은 모델로 결정하는 구조가 속도와 비용을 넘어 ‘도입할 수 있느냐’의 문제가 됩니다.

LLM이 느린 이유가 반드시 모델의 성능 부족 때문인 것은 아닙니다. 때로는 모델이 잘못된 문제를 풀고 있기 때문입니다.

결정이 필요한 곳에서는 결정하고, 생성이 필요한 곳에서만 생성하는 것. LLM을 실제 서비스에 적용할수록 이 단순한 구분이 시스템의 지연 시간과 비용, 그리고 전체 아키텍처를 바꿀 수 있습니다.

자주 묻는 질문 (FAQ)

LLM 서비스가 느려지는 이유는 무엇인가요?

짧은 판단까지 대형 생성 모델에 맡기는 구조가 흔한 원인입니다. 큰 모델의 연산, 긴 프롬프트를 읽는 시간, 추론형 모델의 사고 토큰, 에이전트의 반복 호출, 네트워크 대기가 요청마다 쌓입니다. 의도 분류나 라우팅 같은 결정은 작은 모델과 규칙에 맡기고, 생성 모델은 자연어 답이 필요할 때만 부르면 이 비용을 줄일 수 있습니다.

의도 분류를 LLM에 맡기면 되는데, NLU 모델이 따로 필요한가요?

LLM으로도 분류는 할 수 있습니다. 다만 요청마다 대형 모델을 부르는 비용과 지연이 들고, 출력 형식이 흔들리면 파싱과 재시도가 필요합니다. 정해진 의도와 슬롯을 다루는 NLU 모델은 더 작은 규모로 같은 형식의 값을 돌려줍니다. 복잡한 추론이나 자유로운 답변이 필요한 구간에만 LLM을 쓰는 편이 효율적입니다.

Jev 같은 결정 모델이 NLU를 대체하나요?

같은 문제를 다른 방식으로 푸는 도구에 가깝습니다. 둘 다 텍스트 대신 애플리케이션이 바로 쓸 수 있는 값을 돌려줍니다. Jev는 타입이 정해진 질문에 값과 확률로 답하는 호스팅 API이고, 목적 지향 대화의 NLU는 특정 서비스의 의도, 슬롯, 대화 상태를 다룹니다. 어느 쪽이 맞는지는 언어, 도메인, 설치형 배포가 필요한지에 따라 달라집니다.

모델이 알려 주는 확률(신뢰도)은 믿어도 되나요?

그대로 믿기보다 우리 데이터로 확인해야 합니다. 신뢰도 구간별 실제 정확도를 재는 보정(calibration) 점검을 하면, 0.9라고 답한 판단이 실제로 90% 맞는지 알 수 있습니다. 확인한 뒤에는 확신이 낮은 판단을 되묻기, 대형 모델, 담당자에게 넘기는 기준으로 씁니다. 틀렸을 때 비용이 큰 결정일수록 기준을 높게 잡습니다.

* 기획 및 편집: 브랜드&임팩트팀 전혜영 팀장 · impact.brand@aiworkx.ai