8편. 설계도는 아직 시스템이 아니다

Target Workflow를 설계했다고 해서 바로 운영 가능한 시스템이 되는 것은 아닙니다. 설계한 역할 배치가 현실의 데이터, 권한, 보안, 시스템, 운영 정책 안에서 가능한지 다시 검토해야 합니다.

점검 질문

AI가 판단에 필요한 Input을 실제로 가져올 수 있는가?
개인정보나 사내정보를 해당 AI 환경에서 사용할 수 있는가?
System Action을 자동으로 실행할 권한과 연계가 가능한가?
오판이 발생했을 때 되돌릴 수 있는가?
누가 모니터링(Monitoring)하고 예외를 처리할 것인가?
업무 빈도가 낮아 검증 사례를 충분히 확보하기 어려운 것은 아닌가?
성과를 무엇으로 볼 것인가? 시간 절감, 오류 감소, 사람 개입률, 예외율, 고객 영향 중 어떤 지표가 맞는가?

기준은 한 번 정하고 끝나지 않는다

설계한 판단 기준은 운영을 시작하는 순간부터 어긋나기 시작합니다. 그래서 기준을 고치는 절차 자체를 Workflow 안에 넣어두어야 합니다.

검수 대상 자동 취합 → 담당자 전수 검수 → 오판·예외 발견 → 정책 수정 → 다음 AI 검수에 재적용

AI가 정상으로 분류한 건에서 문제를 발견하면 그 사례가 곧 기준의 빈틈입니다. 그 빈틈을 정책에 반영하는 절차까지 넣어두면 기준이 굳지 않고 운영과 함께 정확해집니다. 이 루프(Loop)를 누가 언제 돌리는지까지 정해두어야 실제로 돌아갑니다.

Case Study. APPLY & REVIEW

AI 분류만 잘 만들면 끝나는 게 아니었습니다. 실제 변경 로그가 충분히 쌓이는지, 어떤 필드(Field)를 AI가 볼 수 있는지, 자동 원복과 판매중단을 시스템이 어떻게 실행하는지, 잘못 중단했을 때 복구가 가능한지, 알림을 누가 받고 언제까지 처리하는지까지 운영 설계가 필요했습니다.

7편에서 나온 중요 셀러(Seller)·상품 협의 경로, 월 1회 전수 검수, 셀러 문의 분기 같은 정책은 바로 이런 현실적인 운영 리스크를 Workflow에 반영한 결과입니다.

기준 보정 루프도 현실에 맞춰 잘랐습니다. 월별 시트 자동 생성과 전달은 일반 자동화로 처리하고, 전수 검수와 기준 수정은 사람이 합니다. 정상으로 분류된 건은 매일 볼 필요가 없어서 월 1회 모아 담당자가 수기로 전수 검수했습니다. 상품명 변경 중에서도 정상으로 분류된 건만 모은 것이라, 한 달 치도 사람이 감당할 수 있는 양이었습니다. 검수량이 늘면 이 단계에도 AI 적용을 검토할 수 있습니다.

이 틀은 어디서 왔나

여섯 단계는 제가 AX 워크숍을 진행하면서 직접 구성한 틀입니다. 다만 맨땅에서 만든 것은 아닙니다. 업무 프로세스 설계, 의사결정 연구, 자동화 연구에는 오래 검증된 생각들이 있고, 저는 그것을 AI를 업무에 배치하는 순서로 엮었습니다. 각 단계가 기대고 있는 근거는 이렇습니다.

단계	기대고 있는 근거	이 연재에서 쓴 방식
FRAME	비즈니스 프로세스 관리(Business Process Management)에서는 개선할 프로세스를 고를 때 먼저 범위를 정하고, 중요도·상태·실현 가능성으로 우선순위를 매깁니다 (Dumas 외, 2018)	범위를 Trigger와 Outcome 한 쌍으로 좁혔습니다
MAP	의사결정 모델링 국제 표준인 DMN(Decision Model and Notation)은 판단 로직을 프로세스 흐름에서 떼어 따로 모델링합니다 (OMG). 경제학에서는 명시적 규칙으로 처리되는 일과 판단이 필요한 일을 나눠, 컴퓨터가 앞의 것을 대체하고 뒤의 것을 보완한다는 것을 보였습니다 (Autor·Levy·Murnane, 2003)	흐름 속 판단을 따로 꺼내고, Rule과 Judgment를 나눴습니다
FIND	자동화 연구는 업무를 기능별로 나누고 기능마다 자동화 수준을 따로 정하라고 권합니다 (Parasuraman·Sheridan·Wickens, 2000). AI가 잘하는 과제와 못하는 과제의 경계는 들쭉날쭉해서, 겉보기에 비슷한 과제에서도 성과가 갈립니다 (Dell’Acqua 외, 2023)	지점마다 Automate·Augment·Keep Human을 따로 고르고, AI Fit을 별도로 따졌습니다
EXTRACT	사람은 말로 할 수 있는 것보다 더 많이 압니다 (Polanyi, 1966). 이 암묵지를 글로 꺼내는 일을 지식경영에서는 표출화(Externalization)라고 부릅니다 (Nonaka·Takeuchi, 1995). 실제로 겪은 사건을 짚어 전문가가 본 단서와 판단을 캐묻는 인터뷰 기법이 Critical Decision Method입니다 (Klein·Calderwood·MacGregor, 1989)	“가장 최근에 중요하다고 판단한 건이 뭐였나요?“로 시작하는 질문이 이 기법을 따릅니다
REDESIGN	기존 흐름을 기술로 빠르게 만드는 대신 흐름 자체를 다시 설계하라는 주장은 1990년 Hammer의 글에서 시작됐습니다. AI에서도 가장 큰 성과는 기능 하나를 붙일 때보다 의사결정 체계 전체를 다시 짤 때 나온다는 분석이 있습니다 (Agrawal·Gans·Goldfarb, 2022)	판단의 위치를 노출 앞으로 당기고, 사람과 AI와 System의 자리를 다시 정했습니다
APPLY & REVIEW	미국 국립표준기술연구소(NIST)의 AI 위험관리 프레임워크는 책임과 감독 체계를 세우고, 운영 중에도 위험을 계속 측정하고 관리하라고 권합니다 (NIST, 2023)	월 1회 검수와 기준 보정 루프를 Workflow 안에 넣었습니다

Automate와 Augment라는 구분도 경영학과 업계에서 함께 쓰는 말입니다. 경영학에서는 이 둘을 어느 한쪽만 고를 수 없는 긴장 관계로 다루고 (Raisch·Krakowski, 2021), Anthropic은 실제 AI 사용을 이 두 갈래로 나눠 측정해 공개하고 있습니다 (Anthropic Economic Index).

제가 한 일은 이 근거들을 업무 하나에 바로 적용할 수 있는 순서로 엮고, 단계마다 무엇을 산출해야 다음 단계로 넘어갈 수 있는지를 정한 것입니다. 그 순서는 워크숍에서 실제 업무를 재설계하며 다듬었습니다.

결과를 읽을 때 지킨 선

근거가 있다는 것과 결과를 부풀리는 것은 다른 일입니다. 이 틀을 쓰면서 스스로 지킨 선도 밝혀둡니다.

몇 건의 사례로 AI 정확도가 검증됐다고 말하지 않습니다. 6편의 Golden Case는 판단 기준의 허점을 찾는 빠른 테스트입니다.
AI가 스스로 매기는 확신도(confidence)를 객관적인 확률처럼 쓰지 않습니다. 자동처리와 사람 검수를 가르는 기준은 업무별 평가 데이터와 위험도와 예외를 함께 보고 따로 설계해야 합니다.
System, AI, Human의 역할 배치는 업무마다 다릅니다. ‘AI는 판단, System은 실행, Human은 승인’ 같은 고정 공식으로 쓰지 않습니다.
이 과정의 산출물은 설계도입니다. 실제 운영으로 넘어가려면 데이터 접근, 개인정보와 보안, 시스템 연계, 운영 책임이 추가로 정리되어야 합니다.

아홉 편을 한 문단으로

AI를 어디에 붙일지 고르는 일은 기능 선정이 아니라 역할 배치입니다. 먼저 Trigger와 Outcome 한 쌍으로 설명되는 크기까지 업무를 좁히고, 그 안을 Input과 Action과 Decision과 Output으로 분해해 어떤 판단이 있고 어떤 판단이 빠져 있는지를 드러냅니다. 그다음 “AI가 할 수 있는가”가 아니라 Value와 AI Fit을 함께 보고 붙일 지점을 고르되, 사람이 필요한 자리와 그 이유를 같이 적습니다. 고른 지점에서는 전문가의 “보면 알죠”를 실제 사례로 캐물어 조건과 등급의 형태로 옮기고, 과거 사례에 대보며 빠진 조건을 찾아냅니다. 마지막으로 System과 AI와 Human의 자리를 정하는데, 되돌리기 어렵거나 손실이 크거나 애매하거나 예외이거나 기준 자체를 고치는 일이라면 사람에게 맡깁니다. 그리고 그 기준을 고치는 절차까지 Workflow 안에 넣어야 설계가 시간이 지나도 버팁니다.

이 흐름을 관통하는 한 문장은 첫 편과 같습니다. AI로 무엇을 할 것인가가 아니라, 이 Workflow 안에서 누가 무엇을 하는 것이 가장 적절한가.

마지막으로 남기는 질문

지금 검토하고 있는 그 AI 과제는, 업무를 분해한 뒤에 나온 것인가요? 아니면 “AI로 뭘 해볼까”에서 나온 것인가요?

후자라면 잘못된 게 아닙니다. 대부분 거기서 시작합니다. 다만 만들기 전에 한 번 분해해보시면 좋겠습니다. 분해하고 나서도 같은 결론이 나온다면 그때는 확신을 갖고 만들면 되고, 다른 결론이 나온다면 만들기 전에 알게 된 것이니까요.

아홉 편을 함께 걸어와 주셔서 고맙습니다. 여러분의 팀에서 사람이 필요한 자리가, 감이 아니라 이유로 정해지기를 바랍니다.

참고한 연구

Agrawal, A., Gans, J., & Goldfarb, A. (2022). Power and Prediction: The Disruptive Economics of Artificial Intelligence. Harvard Business Review Press.
Anthropic. The Anthropic Economic Index.
Autor, D. H., Levy, F., & Murnane, R. J. (2003). The Skill Content of Recent Technological Change: An Empirical Exploration. Quarterly Journal of Economics, 118(4), 1279–1333.
Dell’Acqua, F., McFowland III, E., Mollick, E., Lifshitz-Assaf, H., Kellogg, K. C., Rajendran, S., Krayer, L., Candelon, F., & Lakhani, K. R. (2023). Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality. Harvard Business School Working Paper.
Dumas, M., La Rosa, M., Mendling, J., & Reijers, H. A. (2018). Fundamentals of Business Process Management (2nd ed.). Springer.
Hammer, M. (1990). Reengineering Work: Don’t Automate, Obliterate. Harvard Business Review, 68(4), 104–112.
Klein, G. A., Calderwood, R., & MacGregor, D. (1989). Critical Decision Method for Eliciting Knowledge. IEEE Transactions on Systems, Man, and Cybernetics, 19(3), 462–472.
National Institute of Standards and Technology (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1.
Nonaka, I., & Takeuchi, H. (1995). The Knowledge-Creating Company. Oxford University Press.
Object Management Group. Decision Model and Notation (DMN).
Parasuraman, R., Sheridan, T. B., & Wickens, C. D. (2000). A Model for Types and Levels of Human Interaction with Automation. IEEE Transactions on Systems, Man, and Cybernetics – Part A, 30(3), 286–297.
Polanyi, M. (1966). The Tacit Dimension. Doubleday.
Raisch, S., & Krakowski, S. (2021). Artificial Intelligence and Management: The Automation–Augmentation Paradox. Academy of Management Review, 46(1), 192–210.