“결재를 상신했습니다”라는 답이 실패일 수 있는 이유

구매 결재 에이전트가 “결재를 상신했습니다”라고 답했다. 답만 보면 일을 끝낸 것처럼 보인다.

실행 기록을 열어 보면 이야기가 달라질 수 있다. 결재 시스템은 단독 결재 한도를 넘었다는 이유로 요청을 반려했다. 응답으로 보면 통과지만, 실행 기록으로 보면 실패인 셈이다.

이 장면은 AIWORKX가 2026년 11월 5일 서울 코엑스에서 열린 제12회 국제 품질 테스팅 콘퍼런스(BeSTCon 2026)에서 꺼낸 이야기의 출발점이다. 응답만 채점하는 평가는 이 차이를 잡지 못한다. 에이전트가 무엇을 말했는지가 아니라 무엇을 했는지를 봐야 하기 때문이다.

AIWORKX AgentRigor™, Powered by AxDC™는 에이전트가 어떤 도구를 어떤 순서로 호출했고 무엇을 돌려받았는지, 그 과정에서 권한과 승인 절차를 지켰는지까지 확인한다. 2026년 4월 30일 정식 출시한 뒤 6개월, 이 방식이 기업 현장에서 어떻게 쓰였는지 정리했다.

모델에서 에이전트로, 도입 기업의 고민은 어떻게 달라졌나

기업의 AI 활용은 답을 만드는 모델에서 실제 업무를 수행하는 에이전트로 옮겨가고 있다. 에이전트는 도구를 호출하고 업무 시스템에 접근한다. 답이 틀리는 것보다 일을 잘못 처리하는 것이 더 큰 문제가 된 셈이다.

에이전트를 도입한 기업들에게서는 비슷한 고민이 반복해서 나온다.

1. 벤치마크 점수는 높은데 실제 서비스 수준은 낮다.
2. 응답은 잘하는데 수행 과정에서 실패한다.
3. 무엇을 잘하고 무엇이 부족한지 숫자로 비교하고 싶다.
4. 운영 중 잘못 동작하면 빨리 대응하고 싶다.

AgentRigor™는 이 네 가지 고민에서 출발했다. 콘텐츠 단위를 넘어 서비스 단위로, AI 에이전트가 업무 기준과 규정을 지키며 일하는지 평가한다.

기존 도구와는 보는 범위가 다르다.

관측 도구가 남긴 실행 기록을 받아 평가하는 구조라서, 이미 쓰고 있는 도구와 함께 쓸 수 있다.

출시 6개월, 엔터프라이즈는 어디에 적용했나

통신사 S기업과 IT 대기업 엔터프라이즈는 AgentRigor™를 내부 에이전트의 배포 전 검증 과정에 적용했다. 두 곳 모두 AI 에이전트를 운영하고 있었고, 부딪힌 문제도 비슷했다.

문제는 두 가지였다. 하나는 평가 점수의 기준이 내부 요구사항과 달라서 결과를 설명하기 어렵다는 점이었다. 다른 하나는 대량의 질의응답을 사람이 직접 검증하느라 개발 주기가 막혀 있었다는 점이다. 점수는 나오는데 그 점수로 배포를 결정할 수는 없는 상황이었던 셈이다.

기준부터 합의했다. 평가 항목마다 무엇을 통과로 볼지 문장과 점수 범위로 먼저 정했다. 그다음 검증을 자동화했다. 사람이 한 건씩 보던 일은 AI 채점으로 넘기고, 사람은 판정 근거를 보고 최종 판단을 내리는 데 집중했다.

결과는 검증 절차가 됐다. 이 방식은 두 곳에서 내부 에이전트를 개발한 뒤 배포하기 전에 거치는 검증 과정으로 자리 잡았다.

여러 에이전트를 묶어 경영진에게 올리는 주간, 월간 보고서는 첫 파트너 고객들과 함께 만들고 있다. BeSTCon 2026 부스에서는 이 보고서 예시도 함께 공개했다.

AgentRigor™는 무엇을 평가하나: 다섯 가지 축

AgentRigor™는 결과, 과정, 지속, 경계, 근거의 다섯 축으로 에이전트를 평가한다. 각 축은 하나의 질문에 답한다.

다섯 축은 7개 범주 24개 기본 지표로 나뉜다. 여기에 조직마다 필요한 지표를 더해 쓸 수 있다. 벤치마크가 측정하지 않는 ‘실행 과정’과 ‘조직 고유의 업무 기준’까지 지표로 설계할 수 있다는 점이 범용 평가 지표 체계와 다르다.

다섯 축을 하나의 점수로 합치지 않는 데는 이유가 있다. 점수를 평균 내면 중대한 권한 위반이 다른 항목의 높은 점수에 가려진다. 결재 한도를 넘긴 에이전트가 답변 품질 덕분에 합격점을 받는 일을 막기 위한 설계다.

제품 안에서는 평가 케이스 등록, 평가 기준 정의, 자동 평가, 전문가 검수, 실행 기록 추적이 한 흐름으로 이어진다. 수백 건의 케이스를 한 번에 돌려 AI가 채점하고, 전문가가 판정 근거를 보고 최종 판정을 내린다. AI 채점과 사람 판정이 얼마나 일치하는지도 함께 남는다. 결과는 요약 화면 한 장에 모이고, 버전별 점수 변화까지 한 번에 볼 수 있다.

한 번 검증하고 끝나지 않는다: 배포 전부터 운영까지 같은 기준

한 번 테스트했다고 검증이 끝난 게 아니다. 에이전트는 배포한 뒤에도 모델이 바뀌고, 도구가 바뀌고, 업무 규정이 바뀐다. AgentRigor™는 같은 기준을 세 시점에 쓴다.

1. 배포 전: 평가 세트를 한 번에 실행해 배포 판단 리포트를 만든다.
2. 운영 중: 실제 실행 기록을 표본으로 자동 평가한다.
3. 변경 시: 에이전트 구성이나 운영 환경이 바뀌면 고정된 평가 세트로 다시 실행해 개선인지 회귀인지 비교한다.

평가는 진단 결과를 전달하는 데서 끝나지 않는다. 드러난 문제는 개선 과제로 정리해 다음 버전에 반영하고, 반영 결과는 다시 같은 기준으로 확인한다. 평가가 개선으로, 개선이 다시 평가로 이어지는 순환 구조다.

평가는 개발팀과 독립된 품질 검증(QA)팀이 수행하는 것을 전제로 설계했다. AgentRigor™는 결정을 대신하지 않는다. ‘위임하지 않음’부터 ‘그대로 위임’까지 다섯 단계 가운데 에이전트를 어디에 둘지, 승인권자가 판단할 수 있도록 결과와 근거를 제공한다.

도입은 어떻게 시작하나

짧은 진단으로 시작해 운영 체계로 넓혀간다.

구축 방식은 SaaS와 온프레미스 가운데 선택할 수 있다.

BeSTCon 2026 현장: “일하는 AI를 무엇으로 믿을 것인가”

올해 BeSTCon의 주제는 ‘TRUST in AI: 보안, 신뢰성, 그리고 품질의 새로운 기준’이었다. 김정원 AI 신뢰성 기술총괄은 트랙2 세션(14:30~15:00)에서 ‘일하는 AI를 무엇으로 믿을 것인가: 실행 기록으로 판정하는 AI 에이전트 평가’를 발표했다. 김 총괄은 영국 UCL에서 컴퓨터과학 박사 학위를 받았고, 킹스칼리지런던과 UCL에서 인공면역 시스템 기반의 사기 탐지와 침입 탐지를 연구했다.

발표가 던진 질문은 기술보다 경영에 가까웠다. 에이전트에 업무를 어디까지 맡길지 판단해야 하는 경영진의 입장에서, 무엇을 근거로 그 판단을 내릴 수 있느냐는 것이다. 김 총괄은 이렇게 말했다.

“AI를 믿는다는 건 점수가 아니라, 어떤 판단과 행동이 있었는지 근거로 확인할 수 있다는 뜻입니다. AI에 맡기는 업무가 늘수록 책임은 그대로 남는 만큼, AgentRigor™는 결과뿐 아니라 과정까지 점검해 판단의 근거를 남기는 데 집중하고 있습니다.”

김정원, AIWORKX AI 신뢰성 기술총괄

발표 자료는 발표자료 신청 페이지에서 받아 볼 수 있다.

전시 부스에서는 AgentRigor™ 시연과 함께 백서 「AI 에이전트에게 업무를 맡길 근거는 무엇으로 만드는가」를 배포했다. 에이전트를 개발하거나 운영하는 기업과는 필수 검증 지표와 시나리오, 평가 전략을 함께 설계하는 평가 가능성 진단과 PoC 상담을 진행했다.

자주 묻는 질문

AI 에이전트 평가는 LLM 평가와 무엇이 다른가요?

LLM 평가는 모델이 내놓은 답을 채점한다. AI 에이전트 평가는 에이전트가 업무를 실제로 어떻게 처리했는지를 본다. 어떤 도구를 어떤 순서로 호출했는지, 권한과 승인 절차를 지켰는지, 업무를 끝냈는지가 평가 대상이다.

실행 기록으로 판정한다는 건 무슨 뜻인가요?

에이전트의 답변이 아니라 실행 기록(도구 호출, 반환값, 처리 순서)을 근거로 통과와 실패를 가른다는 뜻이다. “결재를 상신했습니다”라고 답했더라도 결재 시스템이 요청을 반려했다면 실패로 판정한다.

AgentRigor™의 다섯 가지 평가 축은 무엇인가요?

결과(업무를 끝냈는가), 과정(올바른 순서와 근거로 처리했는가), 지속(조건이 바뀌어도 유지되는가), 경계(권한과 승인 절차를 지켰는가), 근거(판정을 다시 확인할 수 있는가)다. 다섯 축은 7개 범주 24개 기본 지표로 나뉜다.

배포 전에 검증했는데 운영 중에도 평가가 필요한가요?

필요하다. 에이전트는 배포 후에도 모델, 프롬프트, 도구, 업무 규정이 바뀐다. AgentRigor™는 운영 중 실행 기록을 표본으로 평가하고, 구성이나 환경이 바뀔 때 같은 평가 세트로 다시 실행해 개선인지 회귀인지 비교한다.

지금 쓰는 관측 도구와 함께 쓸 수 있나요?

쓸 수 있다. AgentRigor™는 관측 도구가 남긴 실행 기록을 받아 평가하는 구조다.

도입은 어떻게 시작하나요?

1개월 PoC로 배포 전 검증을 먼저 경험하고, 3개월 단계에서 운영 중 평가와 변경 시 재평가로 넓힌다. 구축은 SaaS와 온프레미스 가운데 선택할 수 있다.