헬스케어 AI 서비스 새록은 2025년 4분기부터 2026년 2분기까지 AIWORKX AgentRigor™ — Powered by AxDC™를 도입해 화장품 성분 도메인 시나리오 1,440건을 검증했고, 동일 시나리오 기준 타사 AI 서비스 대비 61%p 우위라는 정량적 결과를 확보했습니다. 이 글은 도메인 특화 AI 서비스가 범용 LLM 벤치마크로는 증명할 수 없었던 우수성을, 어떤 검증 과정을 거쳐 데이터로 바꿨는지를 다룹니다.

새록은 화장품 성분의 할루시네이션 억제, 안전 보고서 기반 제품 추천, 성분 맞춤 피부 관리 등 도메인 전문 지식을 요구하는 AI 기능을 갖추고 있었습니다. 서비스 기획과 개발 수준은 타사 대비 앞서 있었지만, 그 우수성을 객관적인 수치로 입증할 평가 체계가 시장에 존재하지 않았습니다. 잘 만든 것과 잘 만들었다고 증명하는 것은 별개의 문제였고, 새록에게 필요한 것은 후자였습니다.

왜 도메인 특화 AI 서비스는 우수성을 증명하기 어려운가

도메인 특화 AI 서비스의 성능은 범용 LLM 벤치마크로 측정되지 않습니다. 벤치마크는 모델의 일반적인 언어 능력을 재는 시험이지, 특정 서비스가 자기 도메인에서 실제로 얼마나 정확하게 일하는지를 재는 도구가 아니기 때문입니다. 새록이 마주한 문제는 세 겹으로 쌓여 있었고, 셋 모두 이 구조에서 비롯됐습니다.

도메인 지식 평가에 적합한 벤치마크의 부재

새록의 AI가 잘해야 하는 일은 명확했습니다. 화장품 성분에 대한 질문에 근거 있는 답을 하고, 없는 사실을 지어내지 않고, 안전 보고서를 바탕으로 추론하는 것입니다. 문제는 바로 그 일을 측정하는 기준이 시장 어디에도 없었다는 점입니다. 범용 벤치마크 점수가 아무리 높아도, 그것이 성분 지식 답변의 정확도를 말해주지는 않습니다. 재야 할 것과 잴 수 있는 것 사이의 간극이 첫 번째 벽이었습니다.

타사 대비 우수성의 수치 증빙 불가

투자 유치와 파트너 협상의 테이블에서 “우리 서비스가 더 낫다”는 말은 반복될수록 힘을 잃습니다. 상대가 원하는 것은 주장이 아니라 그 주장을 뒷받침하는 숫자이기 때문입니다. 새록은 서비스 품질이 경쟁사보다 우수하다는 내부적 확신은 있었지만, 이를 외부에 내밀 수 있는 형태의 근거 자료로 갖고 있지 못했습니다. 성능은 있는데 성능을 말할 언어가 없는 상태였습니다.

평가 투명성 부족이 만드는 신뢰의 공백

설령 자체적으로 평가 수치를 만들어낸다 해도 문제가 남습니다. 어떤 데이터로, 어떤 기준에서 나온 숫자인지 공개되지 않으면 외부 이해관계자 입장에서는 받아들일 이유가 없기 때문입니다. 숫자를 만드는 것만큼이나, 그 숫자를 신뢰하게 만드는 과정의 투명성이 필요했습니다.

AgentRigor™는 도메인 지식 답변을 어떻게 검증했는가

검증의 출발점을 바꾼 것이 핵심입니다. 일반적인 기준으로 서비스를 재단하는 대신, 새록이 실제 서비스에서 다루는 도메인 케이스에서 출발해 평가 체계를 만들었습니다. 단순 정확도 측정이 아니라 실서비스 환경에서의 Agent 응답 품질을 정밀하게 평가하는 방식으로, AIWORKX는 AgentRigor™와 컨설팅을 통해 이 과정을 세 단계로 지원했습니다.

도메인 특화 시나리오 1,440건 검증

시나리오 하나는 질문, 기대 답변, 그리고 그 답이 나와야 하는 맥락 정보로 구성됩니다. 새록이 제시한 케이스를 바탕으로 화장품 성분 지식, 할루시네이션 억제, 안전 정보 기반 추론이라는 세 영역에 걸쳐 이런 시나리오 1,440건을 구축했고, AgentRigor™로 검증을 수행했습니다. 벤치마크가 재지 못하던 “이 서비스가 실제로 하는 일”이 처음으로 측정 가능한 형태가 된 것입니다.

성능 항목별 평가 기준 공개

측정만으로는 충분하지 않았기에, 어떤 데이터와 기준으로 평가되었는지를 성능 항목별로 명확히 공개했습니다. 결과를 받아보는 쪽이 산출 과정을 확인할 수 있는 구조를 만든 것입니다. 이 투명성 덕분에 새록은 평가 결과를 내부 참고용이 아닌, 외부에 제시하는 객관적 서비스 성능의 근거로 활용할 수 있게 됐습니다.

동일 시나리오 기준 타사 비교 평가

마지막으로 같은 1,440건의 시나리오를 타사 AI 서비스에도 동일하게 적용했습니다. 같은 질문, 같은 기준, 같은 조건이었기에 결과의 차이는 온전히 서비스 품질의 차이로 읽힙니다. 이렇게 도출된 것이 타사 대비 61%p 우위라는 정량적 결과입니다. “더 낫다”는 인식이 처음으로 비교 가능한 숫자가 된 순간입니다.

새록이 확보한 결과

이번 검증으로 새록이 얻은 것은 61%p라는 숫자 하나가 아닙니다. 그 숫자가 어디서 왔는지 설명할 수 있고, 누구에게든 다시 보여줄 수 있는 근거 체계입니다.

• 말로 전하던 서비스 우수성이 투자자 미팅과 파트너 협상에서 제시 가능한 검증 데이터로 전환
• 평가 기준 공개를 통해 외부 이해관계자가 결과를 신뢰할 수 있는 구조 확보
• 어느 영역이 강하고 어디를 보완할지 보여주는 평가 체계를 기반으로 AI 기능 개선 로드맵 수립

성능을 이미 갖춘 서비스에게 필요한 것은 개선이 아니라 입증이었습니다. 새록은 이번 검증으로 그 입증의 수단을 확보했습니다.

“우리 서비스가 경쟁사보다 낫다는 것은 알고 있었지만, 그것을 숫자로 보여줄 수 없었습니다. AIWORKX와 AgentRigor™를 통해 도메인 시나리오 기반 검증을 수행한 이후, 투자자와 파트너에게 61%p 우위라는 객관적 근거를 제시할 수 있게 됐습니다.”
— 송영제 대표 | 새록

이 사례에서 배울 수 있는 것

도메인 특화 AI 서비스의 우수성은 범용 벤치마크가 아니라, 실제 도메인 케이스로 구성한 시나리오 검증으로 입증됩니다. 새록 사례가 보여주는 것은 순서입니다. 서비스가 실제로 하는 일에서 평가 기준을 끌어내고, 그 기준을 공개해 신뢰를 만들고, 동일 조건에서 타사와 비교해 우위를 숫자로 바꾸는 것입니다. 이 과정을 거친 성능 주장은 더 이상 자기 소개가 아니라, 외부에서 통용되는 정량적 근거가 됩니다.

우리 서비스의 도메인이 달라도, 케이스 규모가 더 작아도 같은 방식의 검증이 가능한지 궁금하다면 먼저 현황을 확인해 보세요.