AX 워크플로우 설계 : AI는 기능이 아니라 역할이다
6편. 7건 중 2건이 어긋났다: 과거 사례로 기준을 검증한다
Golden Case는 시험 문제와 정답지입니다. 목적은 정확도를 자랑하는 게 아니라 기준의 빈틈을 찾는 것입니다. 어긋난 2건이 수확이었습니다.
쉽게 말하면 시험 문제와 정답지를 만드는 일입니다.
담당자가 실제로 처리했던 사례를 가져옵니다. 장애 등급을 판단하는 업무라면 이렇게 준비합니다.
Case A → P1 · Case B → P3 · Case C → P2 …
그리고 AI에게 같은 사례를 입력해 담당자의 판단과 비교합니다. 그래야 “AI가 답변을 꽤 잘하네요”가 아니라 “5개 중 4개에서 전문가 판단과 일치했습니다”라고 말할 수 있습니다.
다만 이걸 성능 검증이라고 부르면 안 됩니다
여기에 중요한 주의점이 있습니다.
사례 몇 건은 모델 성능을 객관적으로 입증하는 평가셋이 될 수 없습니다.
판단 기준의 허점을 발견하는 빠른 테스트라고 부르는 것이 정확합니다. 실제 파일럿(Pilot)에서는 더 많은 사례와 업무에 맞는 평가 기준이 필요합니다.
이 활동의 목적은 ’AI 정확도가 80%다’라고 주장하는 게 아닙니다. 방금 구조화한 판단 기준으로 이 사례를 설명할 수 있는가, 빠진 조건이나 예외는 없는가를 확인하는 데 있습니다. 이 차이를 알고 있으면 기술적인 질문을 받아도 과장 없이 답할 수 있습니다.
Case Study. 기준 검증
상품정보 변경 이력에서 이미 판단이 끝난 건을 뽑았습니다. 정상적인 상품명 개선, 정체성이 명확히 달라진 심각 사례, 사람이 봐도 애매한 경계 사례를 섞었습니다. 기준을 만들 때 봤던 건도 일부 넣었습니다. 그리고 지난 편에서 만든 정책을 AI에게 그대로 주고 판정하게 한 뒤, 운영팀과 같은 결론이 나오는지 하나씩 대조했습니다.
| 변경 전 → 변경 후 | 함께 본 정보 | 운영팀 판단 | 기준 적용 결과 | |
|---|---|---|---|---|
| A | 부사 사과 5kg 산지직송 → 햇 오렌지 5kg 산지직송 | 품번 불일치, 품목 변경 | 심각 | 심각 · 일치 |
| B | ○○ 운동화 AF-2288 → ○○ 운동화 DD-8959 | 상품명 안의 품번 변경 | 심각 | 심각 · 일치 |
| C | 샤인머스캣 2kg → 프리미엄 샤인머스캣 2kg 선물용 | 텍스트 변경 약 35% | 중간 | 중간 · 일치 |
| D | 부사 사과 5kg → 부사 사과 5kg 무료배송 당일출고 | 키워드만 추가 | 정상 | 정상 · 일치 |
| E | 제철 사과 5kg 추석선물 → 제철 사과 5kg | 시즌 문구 제거 | 정상 | 정상 · 일치 |
| F | 베이직 라운드넥 반팔티 → 베이직 브이넥 반팔티 | 텍스트 변경 약 25% | 심각 | 정상 · 어긋남 |
| G | ○○ 주방세제 3L 리필 → ○○ 주방세제 1L 본품 | 용량·형태 변경, 텍스트 변경 약 35% | 심각 | 중간 · 어긋남 |
7건 중 5건은 같은 결론이 나왔고, 2건이 어긋났습니다. 어긋난 2건이 이 활동의 수확입니다.
F와 G는 둘 다 지난 편에서 기준을 만들 때 심각 무더기에 넣었던 사례입니다. 공통 요인을 찾을 때는 형태와 용량을 분명히 꺼냈습니다. 그런데 정책 문장으로 옮기면서 조건으로 적은 건 품목, 품번, 품종뿐이었고, 형태와 용량은 “그 밖에 사실상 다른 상품이 된 경우”라는 한 줄에 묻혔습니다. 사람에게는 충분한 말이지만, 판정하는 쪽이 확인할 수 있는 조건은 아니었습니다.
F는 텍스트 변경 비율이 낮아 정상으로 내려갔습니다. 넥 형태처럼 단어 하나만 바뀌어도 다른 상품이 되는 경우를 비율만으로는 잡지 못한다는 뜻입니다. 그래서 형태를 나타내는 단어(넥, 핏, 기장, 소매)를 목록으로 만들고, 이 목록의 단어가 바뀌면 변경 비율과 무관하게 심각으로 올리는 조건을 추가했습니다.
G는 용량 변화를 텍스트 변경으로만 읽어 중간에 머물렀습니다. 변경 비율이 35%라 중간 구간에 들어간 겁니다. 그래서 상품명 안의 숫자와 단위(L, kg, 매, 개입)가 바뀌면 비율과 무관하게 다른 상품으로 보는 조건을 따로 세웠습니다. 숫자와 단위를 비교하는 일이라 AI가 아니라 System Rule에 맡깁니다.
정리하면 이 활동의 결과는 ’AI 정확도 71%’가 아닙니다. 기준에서 빠져 있던 조건 두 개를 찾아낸 것이 결과입니다.
지난 편에서 임계값을 가상으로 둔 이유가 여기 있습니다. 70%라는 숫자는 머리로 정한 선이었고, F가 그 선의 한계를 보여줬습니다. 숫자 하나로 다 잡으려 하지 않고 조건을 덧붙이는 쪽이 맞았습니다.
다음 편 예고
이제 기준이 어느 정도 단단해졌습니다. 남은 일은 이 판단을 실제 업무 흐름 안에 배치하는 것입니다. 다음 편에서는 사람과 AI와 시스템의 자리를 정합니다. 순서가 중요합니다. AI가 맡을 곳보다 사람이 필요한 곳을 먼저 적습니다.
한 줄로 남깁니다. 몇 건의 사례로 정확도를 증명할 수는 없지만, 기준의 빈틈은 몇 건이면 찾을 수 있습니다.