창간호에서 가장 많이 읽힌 글 가운데 두 편이 시험성적서 이야기였습니다. 리벨리온의 AI 반도체, 보스반도체의 차량용 반도체 케이스가 그것인데요. 독자는 그 글에서 시험성적서가 어떻게 쓰였는지를 읽었습니다. 이번에는 그 성적서를 만드는 사람들을 찾았습니다. 소프트웨어 분야 국제공인시험기관(KOLAS)으로서 제3자 시험성적서를 발급하는 AISC팀입니다. 인정 분야는 소프트웨어 시험으로, KS X ISO/IEC 25023(시스템 및 소프트웨어 품질 측정)과 KS X ISO/IEC 25051(상용 기성 소프트웨어 시험) 규격에 따른 시험을 인정받았습니다.

지금은 이 팀이 1년 중 가장 바쁜 시즌입니다. 정부 과제가 마무리되는 9월부터 11월 사이에 시험성적서 수요가 몰립니다. 팀은 팀장 1명과 시험원 4명, 행정원 1명, 모두 여섯 명입니다. 10월 말 오후, 그중 안상훈 팀장과 김지현 매니저를 만났습니다.

데이터를 만들던 사람들이 시험, 검증하는 자리로

안상훈 팀장은 2020년 2월, 당시 테스트웍스에 입사해 데이터 사업부에서 AI 학습 데이터셋을 만드는 일을 했습니다. 데이터셋을 만드는 일에는 품질을 지키는 일이 따라옵니다. 회사가 품질경영 체계(ISO 9001)를 갖추는 과정에서 교육을 받으며 품질 쪽으로 자연스럽게 옮겨 왔고, 2025년 4월 지금의 팀에 합류했습니다.

이 팀은 원래 테스트 사업부에서 데이터셋 품질 검증과 시험성적서를 따로 관리하던 조직이 합쳐진 곳입니다. 2022년 국제공인시험기관(KOLAS) 인정을 받은 뒤 두 일이 한 팀으로 모였습니다. 이번 호 커버 인터뷰이 김우주 본부장이 TEST 사업부의 앞단이라면, AISC팀은 그 시험이 한 장의 문서로 증빙되고 남는 뒷단이라 할 수 있겠습니다.

김지현 매니저는 스스로를 “비전공자”라고 소개했습니다. 기획과 마케팅 일을 하던 에이전시에서 사회생활을 시작했고 이후엔 호주에서 워킹홀리데이를 보냈습니다. 2020년 한국에 돌아왔을 때 코로나와 함께 머신러닝 붐이 일고 있었습니다. 국비 지원 교육과정에서 인공지능을 처음 배웠고 기획과 커뮤니케이션을 인공지능과 이을 수 있는 일자리를 찾던 중에 2021년 에이아이웍스(AIWORKX) 데이터 사업부 PM이 됐습니다. 처음엔 계획과 일정과 예산을 챙기는 일을 맡았습니다.

“엔지니어링은 못 해요. 그래서 데이터셋 구축 프로젝트에서 사업 PM을 했죠. 이후 데이터 구축 경험을 살려, 커뮤니케이션 능력과 AI 배경 지식이 필요한 이 팀으로 오게 되었어요.”

Q1. 1년 중 가장 바쁜 때라고 들었습니다. 요즘 하루는 어떻게 흘러갑니까?

“출근하면 메일이 열 몇 개씩 쌓여 있어요. 새로 들어온 문의도 있고, 전날 보내 둔 것에 답도 있고요. 기업별로 진행 단계가 다 다른데, 어느 곳은 성적서를 쓰는 단계고 어느 곳은 신청서를 검토하면서 안내해 드려야 하는 단계고 어느 곳은 계약 단계예요. 거기에 맞춰 우선순위를 정하고 그 와중에 신규 문의가 들어오면 또 응대하고요. 하루 종일 우선순위를 조율하며 일합니다.” — 김지현 매니저

“저는 CRM으로 고객 문의가 팀원들한테 잘 배정됐는지 후속 응대는 제때 잘 이어지고 있는지 챙기고, 성적서가 다 써지면 최종 확인하는 일을 합니다. 우리 팀은 고객 응대와 시험부터 수주 보고, 입금 확인까지 다 팀 내에서 처리하거든요.” — 안상훈 팀장

Q2. 시험성적서 한 장이 나오기까지, 의뢰가 들어온 날부터 일이 진행되는 순서대로 과정을 들려주세요.

김지현 매니저가 순서를 떠올리며 설명했습니다. 문의는 주로 메일과 전화로 옵니다. 이메일로 문의가 들어오면 바로 전화로 상담을 드립니다. 묻는 것은 두 가지입니다. 시험 대상이 AI 모델인지 소프트웨어인지, 그리고 국제공인시험기관(KOLAS) 공인 시험인지 일반 시험이 필요한지 확인합니다. 그다음 신청서를 받습니다. 신청서가 있어야 지표 개수와 난이도, 일정을 보고 견적을 낼 수 있습니다. 조율이 끝나면 계약서를 쓰고, 그때부터 본격적으로 신청서를 검토합니다.

“신청서 검토가 제일 오래 걸려요. 저희는 신청서에 나와 있는 그대로 시험하기 때문에 신청서가 꼼꼼해야 하거든요. 빠진 게 있는 채로 현장에 나가면 거기서부터 골치가 아파져요. 그래서 보완 요청이 최소 두세 번은 왔다 갔다 해요.”

그 뒤에 시험 일정을 잡고, 현장에 나가 시험하고, 성적서를 쓰고, 발급합니다.

시험성적서를 처음 받아 보는 기업도 많습니다. 성적서가 무엇인지 모르는 담당자도 있습니다.

“그럴 땐 눈높이에 맞춰서 얘기해요. 정부 과제를 제대로 통과했는지 우리가 보고 판정을 내리는 곳이니, 제안서에 썼던 내용을 일단 그대로 옮겨 적어 보시라고요. 아는 것만 채워서 보내 주시면 보완할 부분을 메모로 달아 드려요. 저만 그러는 게 아니라 다 그렇게 하세요.” — 김지현 매니저

신청서가 잘 됐어도 현장이 준비돼 있지 않으면 시험을 할 수 없습니다. 처음 1년 동안은 헛걸음도 했습니다. 그래서 지금은 시험 전날이나 전전날에 메일을 보내고, 담당자가 직접 전화를 겁니다. “시험 준비는 잘 되셨죠? 절차서대로 준비되셨나요?” 그 한 통으로 헛걸음이 많이 줄었습니다. 그래도 가서 보니 안 되겠다 싶으면 “다음에 오겠습니다”라고 합니다. 한 번까지는 다시 나갑니다.

“전임 팀장님이 이런 프로토콜을 만들려고 굉장히 애쓰셨어요. 사전에 체크리스트를 보내요. 신청서에 쓴 절차대로 진행되는지 확인해 달라, 지표가 실제로 나오는지 확인해 달라, 모델 시험이면 데이터를 우리에게 보여 줘야 한다. 신청서에는 크게 다뤄지지 않지만 우리가 반드시 확인해야 하는 것들을 강조해서 보내 드려요. 소프트웨어 쪽은 아예 사전 미팅을 온라인으로 해요. 세팅이 잘 돼 있으면 현장 시험은 두세 시간이면 끝나요. 증적 자료가 많으면 하루가 걸리고요.” — 안상훈 팀장

현장은 전국에 있습니다. 세 시간 가서 세 시간 시험하고 세 시간 돌아오는 날도 있습니다. 신규 고객은 추천으로 오는 경우가 많습니다. 함께 과제를 한 연구실이 옆 연구실을 소개하고, 컨소시엄 안에서 이름이 건너갑니다.

Q3. 기존 고객이 다시 찾아오고, 신규도 소개로 오는 경우가 많다고 들었습니다. 왜 다시 에이아이웍스에 의뢰한다고 보세요?

“다시 설명하지 않아도 되니까요. 회사의 제품이나 모델을 처음부터 또 설명할 필요가 없잖아요. 그리고 저희는 일정을 무조건 맞춰 드려요. 사흘 안에 해 줄 수 있냐고 해도 되도록 맞춰서 끝냅니다. 만족하니까 다시 오고 추천도 해 주시는 거고, 거기에 저희가 신뢰와 실력으로 보답하니까 이어지는 것 같아요.”

— 김지현 매니저

안 팀장은 같은 질문에 팀원들 이야기로 답했습니다.

“팀원들 칭찬을 하자면, 시험 환경과 시험 신청서 검토를 열심히 해서라고 생각합니다. 그게 다 끝나고 나가니까 고객도 변수가 없고 저희도 변수가 없어요. 변수를 다 없애고 가는 거죠. 그리고 안 되는 건 현장이 아니라 그 전에 안 된다고 말씀드리고 대안을 같이 고민해요. 시험할 때 이런 걸 확인해야 하니 준비가 필요한 부분을 말씀드려요. 메모가 달린 신청서 파일이 서너 번 왔다 갔다 하는 게 그 일입니다.”

시험 전에 절차와 조건을 확정해 둔 결과가 일정입니다. 안 팀장은 자신이 합류한 뒤로 시험 일정을 어긴 적이 한 번도 없다고 했습니다. 작년 한 해에만 100건이 넘는 시험성적서를 발급하면서 야근과 주말 근무가 이어졌고, 올해는 추석 연휴 마지막 날에 출근한 팀원들도 있었습니다. 자체 집계로는 작년에 다시 찾아온 고객이 열에 일곱이 넘는다고 해요.

Q4. 고객에게 “안 된다”고 말해야 하는 순간이 있을 것 같습니다. 그때는 어떻게 하십니까?

김지현 매니저의 첫 답은 “현장에서는 별로 없다”였습니다. 그 전에 모두 상의하고 해결하기 때문입니다. 그렇다면 무엇을 두고 안 된다고 말하는지 물었습니다.

“큰 주제로 보면 시험 환경이에요. 모델이면 시료가 되는 데이터, 소프트웨어면 시험 조건, 그리고 측정 방법. 지표만 보고 있으면 이게 안 보여요. 저희는 지표를 달성하기 위한 절차를 보는 사람들이거든요. 시험 신청서의 핵심은 절차예요.” — 안상훈 팀장

자주 부딪히는 것이 정답 데이터입니다. 모델의 성능을 재려면 학습에 쓰지 않은, 정답이 붙은 데이터가 따로 있어야 합니다.

“그 얘기를 안 하고 시작하려는 경우가 빈번해요. 너무 당연해서 말씀을 안 하셨거나 아차 싶어서 말씀을 못 하셨거나. 그래서 저희가 먼저 물어요. 학습 데이터와 분리된 정답 데이터가 있으신 거죠? 의료 쪽은 데이터가 워낙 적어서 한 건이라도 다 학습에 넣고 싶어 하세요. 그러면 새로 모으거나, 적은 수로 시험하거나. 타당성이 좀 떨어져도 어쩔 수 없이 그렇게 가야 할 때가 있어요.” — 안상훈 팀장

정답 데이터를 시험성적서 발급 팀이 대신 만들지는 않습니다.

“그건 고객이 준비해야 해요. 지표를 정하는 건 컨설팅의 영역이고, 그 지표를 달성했는지 보는 게 시험의 영역이에요. 저희가 지표를 정해 드리면 저희 손이 닿은 걸 저희가 확인하는 셈이 되잖아요. 그래서 사전에 검토해 달라고 하는 거예요.” — 안상훈 팀장

그래서 시험 신청서 검토가 다시 중요해집니다. 성적서 단계에서 “이 시험은 안 된다”고 말하기 전에, 시험 신청서와 절차서를 꼼꼼하게 검토해 시험의 불확실성을 미리 없애 둡니다. 시험성적서 발행 전에 확인되지 않은 항목이 남아 있어서는 안 되기 때문입니다. 고객이 공개할 수 없다고 한 데이터는 공개하지 않는다는 사실도 성적서에 적습니다. 시험성적서가 기준 “만족/불만족”의 판정만이 아니라 “무엇을 어떤 조건에서 확인했는지”의 기록이 되는 이유입니다.

Q5. 표준이 아직 없는 영역에서는 시험 방법부터 만들어야 합니다. 그 일은 어떻게 시작됩니까?

“표준이 있냐 없냐의 문제라기보다, 환경이 너무 다양해서 어떤 게 맞는지 정확하지 않은 거예요. 방법론이 너무 많아요. 똑같은 분류 모델인데 데이터가 의료면 또 달라지고요. 그래서 이걸 데이터베이스로 만들어 두기는 어려워요.” — 안상훈 팀장

예를 들어, AI 반도체는 그 위에 모델을 올려 돌리는 방식으로 시험합니다. 모델이 돌아가니 모델 시험의 방법을 따라갈 수 있습니다. 문제는 발열이나 전력 소모처럼 하드웨어의 정량 요소입니다. 그것을 볼 것인지, 본다면 어떻게 볼 것인지를 팀은 건마다 회의로 정합니다.

“업계 표준은 없어요. 거대언어모델이 들어오고, 모델이 모델을 채점하는 방식이 붙으면서 고객들도 공정성을 어떻게 확보해야 할지 모르는 거예요. 그러면 문제 정의부터 같이 고민해요. 저희 회사 이름으로 도장이 찍혀서 나가니까, 어떻게 공정하게 시험했는지가 성적서에 들어가야 하거든요. 그건 저희가 요구해야 하는 영역이기도 해요.” — 안상훈 팀장

그렇다고 모든 것을 팀이 확인할 수는 없습니다. 고객이 시험의 공정성을 해치는 일을 하지 않았다는 서명을 받고, 그 위에서 팀이 반드시 확인해야 할 것들을 “안 되는 것”의 목록으로 가져옵니다. 공정하게 시험했다고 말할 수 있는 범위는 그렇게 하나씩 넓어집니다.

Q6. 이 일을 하면서 가장 기억에 남는 장면 하나를 들려주세요.

김지현 매니저는 “교훈을 얻은 날” 이야기부터 꺼냈습니다. 작년 12월의 일입니다. 한 대학에서 소개를 받았다며 문의가 왔는데, 일정이 급한 데다 조건도 팀 기준과 맞추기 쉽지 않은 의뢰였습니다. 처음엔 어렵다고 답했지만 소개한 쪽에서 다시 연락이 왔고, 마침 일이 많지 않은 시기라 팀이 상의 끝에 조율해 맡기로 했습니다. 신청서는 그 뒤에야 받아 볼 수 있었고, 미리 확인했어야 할 내용이 그제야 눈에 들어왔습니다.

“그날 이후로 저는 무조건 신청서부터 받아요. 꼼꼼히 보고 나서 견적을 내고 계약서를 찍자. 되게 비효율적으로 일한 거잖아요. 그래도 저희는 일단 다 해 드려요. 안 된다는 걸 아는 것과는 별개로요.”

좋은 기억은 짧은 메일 한 통입니다.

“진짜 힘들고 짜증 나다가도 고객사에서 ‘감사합니다’ 하면 다 녹아요. 시험관님이 너무 잘해 주셨다고 하신 분도 있었고, 추석 연휴에 빠르게 써 드렸더니 감사 메일이 온 적도 있어요. 그거 하나 받으면 또 일하죠. 일하면서 계속 보람이 느껴지는 건 그런 거예요.” — 김지현 매니저

안 팀장에게 기억에 남는 장면은 작년에 시험을 받은 회사가 올해 다시 연락을 줄 때입니다. “매번 놀라요. 우리 팀원들이 그만큼 열심히 하고 있구나 하고요.” 그리고 전화 한 통의 가치를 말했습니다.

“메일 한 통 보내서 ‘신청서를 채워 주시면 시작하겠습니다’가 아니라 직접 전화 드려서 뭘로 측정하시냐, 이건 확인해 보셨냐 묻고, 못 채우시면 채운 데까지 보내 주시면 같이 얘기하자고 하는 것. 그 전화 한 통이 아직은 인공지능으로 잘 안 되는 영역이 아닐까요? 고객사에게는 그 과정이 의외로 괜찮더라고요.”

미안한 마음도 있습니다. 고객을 만나는 일부터 “계약서 보냈으니 도장 찍어 주세요”라는 메일까지, 시험원들이 처음부터 끝까지 챙겨야 하는 구조이기 때문입니다. 고객과 자주 만날수록 가까워지고, 가까워질수록 제3자로서 지켜야 하는 거리가 어려워질 수 있습니다. 팀원들이 그 거리를 잘 지켜 주기를 바란다고 했습니다.

Q7. 올해 가장 어려웠던 것을 구체적으로 꼽는다면

김지현 매니저는 통제할 수 없는 일정을 꼽았습니다. 시험은 하루지만 데이터셋 품질 검증은 한두 주가 걸립니다. 고객이 데이터를 약속한 날에 주지 않으면 전체 일정을 다시 짜야 합니다. “전화하고 기다려요. 그분들도 안 주고 싶어서 안 주는 게 아니라는 걸 아니까요. 근데 일정을 제가 어떻게 할 수 없다는 게 제일 힘들어요.”

안 팀장은 새 고객을 만나는 일을 꼽았습니다. “잘할 준비는 하고 있어요. 그런데 결국 제일 어려운 건 신규 고객사를 만나는 거예요. 시장이 어떻게 움직이는지 파악하는 것도요.”

인터뷰를 마치며

예정보다 20분 넘게 지난 뒤, 오늘 어땠는지 물었습니다.

“말을 하면 할수록 우리 팀원들이 잘하고 있다는 걸 새삼 느꼈어요. 전임 팀장, 지금은 김형복 AI개발본부장님이 늘 강조하셨던 말이 있어요. ‘당신들은 우리 회사의 얼굴이다.’ 고객사와 일대일로 이렇게 많이 만나는 팀원들은 회사에 없다. 오늘 그 말을 다시 깊게 느꼈어요. 회사 안에서도 AISC팀이 뭐 하는 곳인지 모르는 분이 많을 거예요. 저도 그랬거든요.” — 안상훈 팀장

“1년 동안 하는 일을 그냥 하기만 했지 한번 돌아본 적은 없었어요. 인터뷰하면서 질문 받고 답을 생각해 보니 반추하게 되고 재밌기도 했어요. 우리 회사에서 이 팀이 어떤 일을 하는지 조금이라도 알릴 수 있는 것도 좋았어요.” — 김지현 매니저

고객의 메일을 받고 전화를 걸고, 신청서를 세 번 돌려보내고, 전날 다시 전화를 걸고, 세 시간을 달려가 세 시간을 재고, 시험 전에 불확실한 것을 모두 걷어 내고 확인한 것을 성적서에 곧이곧대로 적는 사람들. 시험성적서 한 장이 기준 “만족/불만족”의 판정만이 아니라 기록인 이유는, 무엇을 어떤 절차와 조건, 환경에서 확인했는지 그 한 장에 그대로 남기기 때문입니다.