5편. EXTRACT: "보면 알죠"를 글로 옮긴다

EXTRACT는 이 연재에서 특히 중요한 단계입니다.

그 업무를 오래 해온 담당자에게 이렇게 물어봤다고 해보겠습니다.

“이 고객 문의가 중요한 문의인지 어떻게 알아요?”

돌아오는 답은 대개 이렇습니다.

“보면 알죠.”

이것이 암묵지입니다. 그런데 AI에게는 “보면 안다”라고 설명할 수 없습니다. 그래서 실제 사례를 바탕으로 질문을 계속 구체화합니다.

가장 최근에 중요하다고 판단한 문의가 뭐였나요? 왜 중요하다고 봤어요? 고객 수가 많아서요.

고객 수가 많으면 무조건 중요한가요? 아니요. 결제 관련이면 고객 수가 적어도 중요하게 봐요.

그러면 고객 수와 결제 여부 중 뭐가 더 중요하죠?

이렇게 좁혀 들어가면 담당자의 머릿속에 있던 판단이 조건과 결과의 형태로 드러나기 시작합니다.

다만 목적은 표를 만드는 것 자체가 아닙니다. 전문가가 판단할 때 실제로 어떤 정보를 보고, 어떤 기준으로 판단하며, 어떤 예외를 처리하는지를 다른 사람이나 AI가 이해할 수 있는 형태로 구조화하는 것입니다.

여기서 말하는 전문가는 직급이나 연차로 정해지지 않습니다. 그 판단을 실제로 반복해온 사람입니다. 문서로 남지 않은 기준을 가지고 있다면 누구나 이 단계의 주인공입니다.

구조화해야 하는 다섯 가지

Input / Evidence	전문가가 판단할 때 실제로 보는 정보는 무엇인가
Judgment Criteria	어떤 조건이나 변화가 판단 결과를 바꾸는가
Priority	여러 기준이 충돌하면 무엇을 더 중요하게 보는가
Exception	일반적인 기준이 적용되지 않는 예외는 무엇인가
Result	결국 어떤 결과나 등급으로 판단하는가

등급 기준을 세우는 순서

판단 결과를 등급으로 나눠야 하는 업무라면 이 순서가 현실적입니다.

① 등급 수를 세 개로 고정한다. 심각 / 중간 / 정상. 네 단계 이상이 되면 사람이 등급 사이를 구분하지 못하고, 등급별 조치도 겹치기 시작합니다.

② 전문가가 반드시 보는 유형을 꺼낸다. “이건 다른 건이다”라고 바로 말할 수 있는 유형을 먼저 모읍니다.

③ 유형을 심각과 중간에 배치한다. 성격이 확실히 달라진 유형은 심각, 사람이 봐도 애매한 유형은 중간에 둡니다. 판단이 갈리는 유형은 중간에 두는 편이 안전합니다.

④ 나머지를 정상으로 정의하고 검증한다. 정상은 따로 조건을 쓰지 않고 “심각과 중간에 해당하지 않는 경우”로 둡니다.

임계값은 처음부터 맞히기 어렵습니다. 전문가가 대략의 선을 긋고, 사례로 어긋나는 건을 찾고, 운영하면서 검수 결과로 조정하는 순서가 현실적입니다.

Case Study. EXTRACT

먼저 어뷰징(Abusing)의 정의부터 세웠습니다. 상품명이 바뀌면서 상품의 정체성 자체가 달라지면 어뷰징입니다. 새로운 정체성의 상품을 팔고 싶다면 상품정보를 새로 등록하는 것이 맞습니다. 그렇게 하지 않고 기존 상품의 이름만 바꿨기 때문에 과거 주문과 리뷰가 그대로 따라붙습니다.

무엇을 정체성 변경으로 볼지는 정책의 영역이라 사람이 정해야 합니다. 그래서 운영팀이 실제로 반드시 확인하는 요인들을 먼저 꺼냈습니다. 품번이 바뀌면 안 된다, 과일이라면 품종이 바뀌면 안 된다, 티셔츠가 브이넥에서 라운드넥으로 바뀌는 것처럼 형태가 바뀌면 안 된다. 운영팀의 암묵지로만 존재하던 것들입니다.

여기에 판단을 돕는 신호를 더했습니다. 변경 전후 상품명의 텍스트가 얼마나 달라졌는지, 어떤 키워드가 빠지고 추가됐는지 같은 변경 정도입니다. 이 값은 시스템이 계산합니다. AI는 사람이 정한 금지 유형과 이 변경 정도를 함께 보면서, 바뀐 상품명이 여전히 같은 상품을 가리키는지 읽고 세 등급으로 판정합니다.

기준은 머리로 만들지 않았습니다. 실제로 처리했던 건을 꺼내 세 무더기로 나눠 놓고, 무더기마다 공통 요인이 무엇인지 찾는 방식으로 만들었습니다.

판정	변경 전 → 변경 후	그렇게 본 이유
심각	부사 사과 5kg 산지직송 → 햇 오렌지 5kg 산지직송	품목 자체가 바뀌었다. 사과를 산 고객의 주문과 리뷰가 오렌지 상품에 그대로 붙는다
심각	샤인머스캣 2kg 선물세트 → 캠벨포도 2kg 선물세트	같은 포도지만 품종이 다르다. 가격대와 사는 이유가 달라진다
심각	○○ 운동화 AF-2288 화이트 → ○○ 운동화 DD-8959 블랙	상품명 안의 품번이 바뀌었다
심각	베이직 라운드넥 반팔티 → 베이직 브이넥 반팔티	넥 형태가 바뀌면 다른 상품이다. 핏과 사이즈 리뷰가 맞지 않게 된다
심각	○○ 주방세제 3L 리필 → ○○ 주방세제 1L 본품	용량과 형태가 함께 바뀌었다. 가격 비교가 성립하지 않는다
중간	부사 사과 5kg → 꿀사과 부사 5kg 가정용	품종은 그대로지만 등급 표현이 붙었다. 실물을 확인해야 안다
중간	샤인머스캣 2kg → 프리미엄 샤인머스캣 2kg 선물용	상품이 바뀐 것인지 문구만 바꾼 것인지 애매하다
중간	○○ 보온 텀블러 500ml → ○○ 스테인리스 보온 텀블러 500ml 대용량	용량 표기는 그대로인데 소재와 ’대용량’이 붙었다. 실물이 바뀐 것인지 확인이 필요하다
정상	부사사과5kg → 부사 사과 5kg	띄어쓰기 정리다
정상	부사 사과 5kg → 부사 사과 5kg 무료배송 당일출고	검색 노출용 키워드가 붙었다
정상	샤인머스캣 2kg 추석선물 → 샤인머스캣 2kg	시즌 문구를 뗐다

사례를 나열하고 나면 공통 요인이 드러납니다. 심각 무더기는 품목, 품종, 품번, 형태, 용량이 바뀐 경우입니다. 중간 무더기는 수식어와 등급 표현이 붙거나 빠진 경우입니다. 정상 무더기는 표기와 키워드만 손댄 경우입니다.

이 공통 요인을 문장으로 옮긴 것이 정책입니다.

판정	정책
심각	상품명이 70% 이상 바뀜 · 품목이 바뀜 · 품번이 바뀜 · 과일의 품종이 바뀜 · 그 밖에 사실상 다른 상품이 된 경우
중간	상품명이 30% 이상 70% 미만 바뀌었으나 단순 수정인지 상품 자체가 달라진 것인지 애매한 경우
정상	심각과 중간에 해당하지 않는 변경

띄어쓰기만 고쳤거나 검색용 키워드, 시즌 문구만 붙이거나 뗀 변경은 비율 계산에서 뺍니다. 여기서 70%와 30%는 설명을 위한 값입니다. 이 숫자가 어디까지 버티는지는 다음 편에서 사례로 확인합니다.

다음 편 예고

기준을 글로 옮겼습니다. 그런데 이 기준이 맞는지는 아직 모릅니다. 다음 편에서는 과거 사례로 이 기준을 깨뜨려 보겠습니다.

한 줄로 남깁니다. “보면 알죠”에서 멈추면 그 판단은 그 사람이 퇴사할 때 같이 나갑니다.