Product·

AX 워크플로우 설계 : AI는 기능이 아니라 역할이다

4편. FIND: 어느 지점에 AI를 붙일지 고른다

"AI가 할 수 있는가"만 보면 월 2번 1분짜리 업무를 자동화하게 됩니다. Value와 AI Fit을 함께 보고, Automate와 Augment와 Keep Human 중에서 고릅니다.

이 단계에서 흔히 하는 실수가 있습니다. “AI가 할 수 있는가?“만 보는 것입니다.

AI가 수행할 수 있다고 해서 AI에게 맡기는 게 좋은 선택은 아닙니다. 월 2번 발생하고 1분 걸리는 업무를 AI화하는 건 의미가 크지 않습니다. 반대로 하루 500건 발생하는 분류 업무라면 작은 개선도 큰 가치를 만듭니다.

그래서 두 가지를 함께 봅니다.

Value. 이 업무를 바꾸면 얼마나 좋아지는가. 빈도, 처리시간, 사람의 반복 작업량, 오류와 재작업, 고객 영향, 사업 리스크, 비용을 봅니다.

AI Fit. AI가 이 업무를 수행하거나 보조하기 적합한가. 필요한 Input이 실제로 존재하는지, Output을 어느 정도 정의할 수 있는지, 비정형 정보를 읽거나 맥락 판단이 필요한지, 과거 사례로 결과를 비교할 수 있는지를 봅니다.

여기에 운영 조건도 같이 봅니다. 판정이 매번 같아야 하는 업무인지, 하루 호출량이 얼마나 되는지요. 값을 대조하면 끝나는 판단을 하루 수천 건씩 모델에 물으면 비용과 품질 변동을 동시에 떠안게 됩니다.

Value가 높아도 AI Fit이 낮다면 다른 해결책이 필요하고, AI Fit이 높아도 Value가 낮다면 우선순위를 내립니다.

세 가지 선택지

고른 지점마다 선택은 셋 중 하나입니다.

  • Automate. 사람 개입 없이 처리해도 충분한 영역
  • Augment. AI가 먼저 분석하거나 판단하고 사람이 확인하는 영역
  • Keep Human. 사람이 계속 수행하는 영역

여기서 중요한 건 자동화율이 높을수록 좋은 AX가 아니라는 점입니다. AI가 틀렸을 때의 비용, 책임 소재, 예외 빈도, 되돌릴 수 있는지까지 고려하면 사람이 들어가야 더 나은 Workflow도 충분히 있습니다.

Case Study. FIND

먼저 상품정보를 정형과 비정형으로 나눴습니다. 기준은 하나입니다. 값을 대조하면 판정이 끝나는가.

구분 필드 어떻게 판정하는가 주체
정형 · 식별 품번·모델명, 브랜드, 제조사, 바코드 값이 바뀌었는지 대조한다. 바뀌면 다른 상품으로 보고 변경을 막거나 신규 등록으로 안내한다 System Rule
정형 · 분류 카테고리, 상품속성, 원산지, 인증 정보 상위 분류를 넘어가는 이동인지 대조한다. 인증이 걸린 카테고리는 재심사로 보낸다 System Rule
정형 · 수치 규격·용량, 수량, 옵션 구성, 가격 변경 폭이 정해둔 임계치를 넘는지 계산한다 System Rule
비정형 · 핵심 상품명 변경 전후의 뜻을 읽고 어뷰징(Abusing)인지 판정한다 AI
비정형 · 보조 상세설명, 이미지, 옵션 자유입력, 검색 태그 상품명·카테고리와 어긋나는 내용이 있는지 확인한다 AI (확장 대상)

정형 필드는 값을 대조하면 판정이 끝나서 AI를 쓸 이유가 적습니다. 비정형 필드는 값이 아니라 뜻을 읽어야 해서 지금까지 사람이 하나하나 봤습니다. AX의 기회가 바로 여기입니다. 이번에는 상품명을 먼저 AI로 옮기고, 상세설명과 이미지는 확장 대상으로 남겼습니다.

사람이 여전히 필요한 자리도 같이 적는다

그렇다고 사람이 사라지지는 않습니다. 사람이 필요한 자리와 그 이유를 따로 적었습니다.

사람이 필요한 지점 왜 사람이 하는가
어뷰징 판정 정책을 정하는 일 무엇을 어뷰징으로 볼지는 정책 판단이다. 기준이 틀리면 AI도 같은 방향으로 틀린다
중간 등급의 최종 확정 AI가 애매하다고 표시한 건이다. 애매함을 가르는 일은 사람의 몫으로 둔다
중요 셀러(Seller)·상품의 심각 건 판매중단은 해제할 수 있어도, 중단된 동안 잃은 매출과 셀러와의 관계는 되돌리기 어렵다. 게다가 거래 비중이 큰 셀러에게는 정책을 그대로 집행할 힘이 부족할 수 있어 협의가 필요하다
강하거나 복잡한 셀러 클레임(Claim) 협상과 관계 관리라 상황마다 대응이 달라진다
월 1회 전수 검수와 기준 보정 기준 자체를 고치는 일이다. AI에게 맡기면 틀린 기준이 그대로 굳는다

’AI가 심각하다고 판단하면 바로 판매중단’까지 자동화할지도 이 표에서 갈립니다. 판매중단은 해제해도 그사이의 손실이 돌아오지 않는 Action이라, 누구에게 하느냐에 따라 달라지는 사업 리스크를 함께 봅니다.

다음 편 예고

AI에게 맡길 지점을 골랐습니다. 그런데 “이 상품명 변경이 어뷰징인가”를 AI가 판단하려면, 운영팀이 무엇을 보고 그렇게 판단해왔는지가 글로 적혀 있어야 합니다. 다음 편은 이 연재에서 가장 중요한 단계입니다.

한 줄로 남깁니다. AI가 할 수 있는지보다, 바꿨을 때 의미 있는 변화가 생기는지를 먼저 보세요.

// share

← Product 전체 보기