카지노는 어떻게 매번 이길까요. 손님 중에도 크게 따서 나가는 사람이 분명히 있는데, 카지노는 망하지 않습니다. 비밀은 단순합니다. 카지노는 게임 하나하나에서 하우스엣지라 부르는 아주 작은 우위를 가지고 있고, 그 게임을 수없이 반복합니다. 블랙잭은 하우스가 약 0.5%, 바카라 뱅커는 약 1.06%, 유럽식 룰렛은 2.7%, 슬롯머신은 2에서 10%의 우위를 가집니다. 한 판만 보면 손님이 이길 수도 있지만, 판이 쌓이면 이 작은 우위가 결국 이깁니다.

지난 편에서 아이디어는 아직 제안일 뿐이라고 했습니다. 이번 편의 이야기가 바로 그 지점에서 시작합니다. 우리가 할 일은 하나의 대박을 터뜨리는 게 아니라, 매 시도의 성공 확률을 조금씩 높이는 것입니다. 그 도구가 가설입니다.

제품도 반복 게임이다

제품을 만드는 일은 한 방으로 끝나지 않습니다. 이번 기능을 내보내고, 결과를 보고, 다음 기능을 내보내고, 또 결과를 봅니다. 카지노처럼 반복되는 게임입니다.

그렇다면 우리가 이기는 방법도 카지노와 같습니다. 매 시도의 확률을 조금씩 높이면 성공이 쌓이고, 감에만 의존하면 실패가 쌓입니다. 한 번의 도박이 아니라, 확률을 조금씩 우리 쪽으로 기울이는 반복. 그 확률을 높이는 장치가 탄탄한 가설입니다. 가설 없이 아이디어를 그냥 내보내는 건, 아무 우위 없이 카지노 테이블에 앉는 것과 같습니다.

좋은 가설은 인과관계 위에 선다

그럼 좋은 가설이란 무엇일까요. 핵심은 문제의 원인과 우리 아이디어 사이에 인과관계가 있는 것입니다. 단순히 함께 움직이는 상관관계가 아닙니다.

이 차이가 중요합니다. 상관관계는 “이것과 저것이 같이 움직인다”입니다. 인과관계는 “이것 때문에 저것이 움직인다”입니다. 아이스크림 판매와 익사 사고가 함께 늘어난다고 아이스크림이 익사를 부르는 건 아닙니다. 둘 다 여름 때문이죠. 원인을 잘못 짚은 가설은, 아무리 열심히 만들어도 결과가 따라오지 않습니다.

주의할 점 하나. 인과관계 위에 선 가설이라고 해서 무조건 성공하는 건 아닙니다. 성공 확률이 올라갈 뿐입니다. 카지노도 매 판을 이기지는 않습니다. 하지만 인과에 기반한 가설을 반복하면, 감에 기댈 때보다 훨씬 자주 이깁니다.

좋은 가설과 나쁜 가설

말로만 하면 추상적이니 관통 사례로 비교해 보겠습니다.

• 나쁜 가설: “인식을 개선하면 경험이 좋아질 것이다.” 이건 가설이라기보다 소망입니다. 무엇이 얼마나 좋아지는지 알 수 없고, 나중에 좋아졌는지 나빠졌는지 판정할 방법도 없습니다.
• 좋은 가설: “OCR이 정상 신분증을 문제없이 읽으면, 인증 전환율이 눈에 띄게 오를 것이다.” 원인(인식 실패)과 아이디어(OCR 개선) 사이에 인과가 분명하고, 무엇을(인증 전환율) 볼지도 정해져 있습니다.

좋은 가설의 조건은 두 가지로 압축됩니다. 인과가 분명할 것, 그리고 측정할 수 있을 것. 측정할 수 없는 가설은 검증할 수 없고, 검증할 수 없으면 배우는 것도 없습니다.

실패한 모습도 미리 그려 둔다

가설을 세웠으면, 성공한 모습만이 아니라 실패한 모습도 미리 그려 둡니다. 그리고 그때 무엇을 할지까지 준비합니다. 되돌리거나, 대안으로 넘기는 계획입니다.

이게 특히 중요한 이유가 있습니다. 앱은 한번 내보내면 되돌리기가 느립니다. 웹처럼 즉시 수정해서 반영하기 어렵고, 사용자가 업데이트를 받아야 바뀝니다. 그래서 “잘못되면 그때 고치지”가 통하지 않습니다. 실패 시나리오를 미리 짜두지 않으면, 문제가 터졌을 때 사용자가 막힌 채로 한참을 방치됩니다.

토스뱅크 사례에 적용하면 이렇습니다. 우리가 개선한 OCR도 여전히 실패할 수 있다고 봅니다. 그래서 인식이 안 될 때를 대비해, 사람이 직접 눈으로 확인하는 절차를 함께 준비해 둡니다. OCR이 뚫지 못한 경우를 사람이 받아, 사용자가 막다른 곳에 갇히지 않게 하는 겁니다.

무엇으로 성공을 판정할 것인가

가설을 세우는 순간, 무엇으로 확인할지까지 정해져 있어야 합니다. 무엇을 볼지, 언제 볼지, 어디까지면 성공인지를 미리 정합니다.

특히 성공선과 실패선은 반드시 내보내기 전에 못박아 둡니다. 이게 왜 중요하냐면, 결과를 본 뒤에 기준을 만들면 실패도 성공처럼 포장되기 때문입니다. “원래 이 정도만 올라도 성공이라고 봤어요”라는 말은, 결과를 보고 나서 하면 자기기만입니다. 기준을 먼저 정하고 결과를 그 기준에 대보는 것과, 결과를 보고 기준을 맞추는 것은 하늘과 땅 차이입니다.

선행 지표와 후행 지표의 사슬

지표는 두 종류로 나눠 봅니다.

• 먼저 움직이는 지표(선행 지표): 우리가 손댄 곳에서 바로 반응하는 숫자입니다. 토스뱅크 사례에서는 OCR의 정상 인식률입니다. 우리가 OCR을 개선하면 여기가 가장 먼저 움직입니다.
• 나중에 따라오는 지표(후행 지표): 그 결과로 뒤늦게 움직이는 최종 성과입니다. 여기서는 계좌 개설 완료율입니다. 우리가 진짜 원하는 결과지만, 여러 단계를 거쳐야 나타납니다.

이 둘을 사슬로 이으면 진단이 쉬워집니다. 정상 인식률이 오르고, 그다음 인증 전환율이 오르고, 마지막으로 계좌 개설 완료율이 오르는 순서입니다. 이 사슬이 있으면, 결과가 기대와 다를 때 어디가 끊겼는지 짚어낼 수 있습니다.

예를 들어 인식률은 올랐는데 계좌 개설 완료율이 안 올랐다고 합시다. 이건 실패가 아니라 진단입니다. 인식 단계는 우리가 고친 대로 좋아졌으니, 문제는 그다음 어딘가에 있다는 뜻입니다. 사슬이 없었다면 “그냥 안 됐다”로 끝났을 일이, 사슬이 있으니 “여기까진 됐고 저기가 문제”로 좁혀집니다.

실패 플랜은 언제 발동하나

앞서 준비한 실패 플랜도 이 지표 위에서 발동 조건을 갖습니다. 인식률이 미리 정한 실패선을 밑돌면, 곧바로 사람이 직접 확인하는 절차로 넘깁니다. 사용자가 막히기 전에 자동으로 우회로가 열리는 겁니다. 이 전환 기준도 반드시 내보내기 전에 정해 둡니다. 앱은 되돌리기가 느리니까요.

다음 편 예고

이제 마지막 한 조각이 남았습니다. 가설과 지표까지 정했으니, 이 모든 걸 하나의 솔루션으로 꿰는 일입니다. 다음 편에서는 드릴과 구멍 이야기로, 고객이 제품을 “고용하는” 목표에서 시작해 기능을 정의하는 법을 이야기하겠습니다. 그리고 이 연재 전체를 한 문단으로 마무리하겠습니다.

한 줄로 남깁니다. 제품은 반복 게임입니다. 인과에 기반한 가설로 매 시도의 확률을 조금씩 높이고, 성공선과 실패선은 반드시 내보내기 전에 못박으세요.