Think·

"일단 해보죠"가 위험한 건 실패해서가 아닙니다

시도와 실험은 다릅니다. 시도는 해보는 것이고, 실험은 해보고 배우는 것입니다. 제가 그냥 해보자는 말을 경계하는 이유는 실패할까 봐가 아니라, 성공해도 배우는 게 없기 때문입니다.

시도와 실험은 다릅니다.

시도는 해보는 것이고, 실험은 해보고 배우는 것입니다.

Just Do It. 멋진 말이죠. 하지만 그 비용을 누가 지느냐에 따라서 정말 다른 이야기가 되는 것 같습니다.

내가 온전히 비용을 진다면, 할까 말까 고민하는 시간이 실행하는 시간보다 길어지는 순간 Just Do It이 답입니다. 어차피 잃을 게 내 저녁 시간뿐이니까요.

하지만 나뿐만 아니라 동료들이 비용을 낸다면? Just Do It은 무책임한 의사결정이 될 가능성이 있습니다.

그런데 실험이라는 포장지로 그냥 해보자, 안 해본 것보다는 낫잖아, 라는 이야기가 스타트업 씬에서 자주 등장하는 것 같습니다.

물론 저 역시 그랬습니다. 그때를 돌아보면, 뭔가 해야 한다는 의욕만 가득했지 무엇을 해야 하는지는 잘 몰랐던 것 같습니다. 그래서 당시 저를 믿고 따라준 동료들에 대한 감사함이 몰려옵니다.

차이는 끝이 아니라 시작에 있습니다

겉으로 보면 둘은 똑같습니다. 만들었고, 내보냈고, 숫자를 봤습니다. 그리고 성과를 회고하며 어떻게든 레슨런을 만들기 위해 노력합니다.

하지만 차이는 끝이 아니라 시작에 있죠. 실험은 내보내기 전에 무엇이 어떻게 되면 맞은 것인지를 정해둡니다. 시도는 그게 없습니다. 그래서 실험은 맞았는지 틀렸는지 말할 수 있고, 시도는 “생각보다 반응이 없네요”로 끝납니다. 후자의 경우 배움이 아닌 경험이 됩니다.

하버드의 에이미 에드먼드슨도 실패에서 배우려면 핵심 가정이 시작 전에 명시적으로 적혀 있어야 한다고 말합니다. 무엇을 믿고 시작했는지 적어두지 않으면, 결과가 나와도 무엇이 틀렸는지 알 수 없으니까요.

그래서 지금의 저는 그냥 해보자는 말을 PO로서 경계합니다. 실패할까 봐가 아닙니다. 성공해도 배우는 게 없기 때문입니다.

문구를 고치자는 답

어느 팀에나 있는 장면입니다. 퍼널 어딘가에서 이탈이 큽니다. 가장 빠른 답이 금방 나옵니다. 안내 문구를 고치자. 반나절이면 붙고, 아무도 반대하지 않습니다. 그리고 한 2주 뒤에 숫자 보고 좋으면 공유하고, 안 좋으면 없었던 걸로 슬쩍 묻어버립니다.

안 움직였을 때가 그나마 낫습니다. 왜 안 움직였는지는 모르지만, 최소한 뭔가 안 됐다는 건 압니다.

더 곤란한 건 숫자가 올라갔을 때입니다. 같은 주에 캠페인이 돌았을 수도, 앱 업데이트가 나갔을 수도, 그냥 계절 효과였을 수도 있습니다. 그래도 우리는 그걸 우리 공으로 기록합니다. 그리고 다음 분기에 또 같은 방식으로 고칩니다. 이번엔 안 움직입니다. 저번엔 왜 됐고 이번엔 왜 안 되는지, 여전히 아무도 모릅니다.

문구를 고치는 게 나쁘다는 이야기는 아닙니다. 진짜 원인이 문구였을 수도 있죠. 다만 그렇게 해서는 실패해도 이유를 모르고, 성공해도 이유를 모릅니다.

인과가 잡히지 않기 때문입니다

배울 수 없는 건 인과가 잡히지 않아서입니다.

한 번에 여러 개가 같이 바뀝니다. 이것도 바꾸고 저것도 바꿨는데 지표가 올랐다면, 어느 것 때문인지 알 수 없습니다. 바깥도 같이 움직입니다. 프로모션, 계절, 경쟁사, 앱스토어 노출. 우리가 한 일과 세상이 한 일이 섞여 있습니다.

여기에 하나가 더 붙습니다. 기준을 나중에 만든다는 것. 결과를 보고 나서 “원래 이 정도면 성공이라고 봤어요”라고 말하는 건 판정한 게 아닙니다. 나온 숫자에 맞춰 이야기를 지은 겁니다.

설명되지 않은 성공이 더 위험합니다

실패는 최소한 아프기라도 합니다. 저는 설명되지 않은 성공이 더 위험하다고 봅니다. 포커 선수 출신의 의사결정 연구자 애니 듀크는 결과의 품질로 결정의 품질을 판정하는 습관을 리절팅이라고 부릅니다. “저번에 그냥 밀어붙였더니 잘 됐잖아요”가 조직의 규칙이 되는 순간이죠.

그리고 그 규칙은 우리 편이 아닙니다. 마이크로소프트에서 실험 플랫폼을 만든 로니 코하비에 따르면, 전체 실험 중 3분의 1만 목표 지표를 개선했고 3분의 1은 아무 변화가 없었으며 나머지 3분의 1은 오히려 지표를 나쁘게 만들었습니다. 감으로 밀어붙여 이긴 한 번은 대개 운입니다.

그 도박의 칩은 내 것이 아닙니다

저는 PO가 실제로 하는 일이 결국 배분이라고 봅니다. 우리에게 있는 시간은 정해져 있고, 그걸 어디에 걸지 정하는 사람이 PO입니다.

그렇게 보면 “일단 해보죠”는 그 일을 안 하겠다는 말입니다. 근거를 만드는 걸 결과에 떠넘기는 거죠. 해보고 잘 되면 근거가 생기고, 안 되면 없던 일이 됩니다.

그리고 “2주면 되잖아요”의 청구서에는 개발자 몇 명의 2주만 적혀 있지 않습니다. 그 기능은 앞으로 몇 년간 유지보수되고, 리팩터링할 때마다 딸려 오고, 다른 기능을 만들 때마다 고려 대상이 됩니다. 그리고 그 2주에 만들지 않은 다른 것이 있습니다.

동료에 대한 케어

특히, 제가 이 이야기를 하는 진짜 이유는 한 가지가 더 있습니다. 바로 동료로서 존중에 기반한 팀을 만드는 과정에도 위험하기 때문입니다.

얼마 전 조니 아이브가 케어를 이야기하는 걸 봤습니다. 그 케어가 사용자만 향하는 게 아니라는 점이 인상적이었습니다. 애플 디자인팀은 금요일마다 한 사람이 팀 전체의 아침을 차렸고, 그걸 돌아가며 했다고 합니다. 서로의 집에서 일하기도 했고요. 아이브는 그런 것들이 제품에 담기는 케어로 그대로 이어졌다고 말합니다. 서로를 위해 만든다는 거죠.

그리고 아이디어는 언제나 깨지기 쉽다고도 했습니다. 팀에 신뢰가 있어야 사람들이 우스꽝스럽게 들릴까 봐 자기 생각을 검열하지 않는다고요. 가장 좋은 아이디어는 대개 가장 조용한 목소리에서 나온다고 합니다.

PO에게 메이커, 동료 분들은 명령을 수행하는 사람들이 아닙니다. 이 제품이 잘 됐으면 해서 자기 시간을 걸고 있는 사람들입니다. 안 될 것 같으면 먼저 말해주고, 더 나은 방법이 떠오르면 묻지 않아도 공유를 해주는 고마운 사람들입니다. 그건 신뢰가 있을 때만 나옵니다. 그리고 근거 없이 던진 결정은 그 신뢰를 조금씩 갉아먹습니다.

그래서 동료의 시간을 존중한다는 건 감정의 문제가 아니라 준비의 문제로 다뤄야 합니다. 동료들이 자기 시간을 걸 이유를 만들어 오는 게 의사결정에 참여하는 PO로서 구성원에 대한 존중이라고 생각합니다.

그럼 무엇을 들고 가야 하나

아이디어만 들고 가면 안 됩니다. 개선“안”이 되어야 하고, 그걸로 팀을 설득해야 합니다.

설득하는 이유는 매너 때문이 아닙니다. 명령으로 움직이는 팀은 시키는 것까지만 합니다. 문제를 이해한 팀은 우리가 생각하지 못한 더 나은 해법을 들고 옵니다.

재료가 길 필요는 없습니다. 다섯 줄이면 충분할 때도 많습니다. 누구의 어떤 문제인가. 원인은 무엇이라고 보는가. 왜 이 안이 그 원인을 건드리는가. 무엇이 얼마나 움직이면 성공이고 언제 판정하는가. 아니면 무엇을 할 것인가.

인과만 있으면 됩니다. 인과가 없으면 20페이지를 써도 긴 “일단 해보죠”일 뿐입니다.

그럼 다 느려지지 않냐고 하면

이 반론은 진지하게 다뤄야 한다고 봅니다.

제프 베조스는 결정을 두 종류로 나눕니다. 되돌릴 수 없는 일방통행 문과, 언제든 돌아 나올 수 있는 양방향 문. 그리고 경고하죠. 조직이 커지면 양방향 문에까지 일방통행 문의 무거운 절차를 붙이고, 그 결과는 느려짐과 생각 없는 위험 회피, 실험 부족, 혁신의 소멸이라고요.

맞는 말입니다. 버튼 색깔 바꾸는 데 기획서를 쓰자는 게 아닙니다. 설계의 무게는 문의 종류에 비례해야 합니다.

다만 되돌릴 수 있는 결정에도 “무엇이 움직이면 맞은 것으로 보겠다” 한 줄은 정하고 시작했으면 합니다. 그 한 줄이 시도를 실험으로 바꿉니다. 비용은 30초고, 대가는 레슨런입니다.

제 이야기는 느리게 하자가 아닙니다. 싸게 배우자입니다.

설계할 시간이 없을 때

물론, 늘 실험을 설계할 시간이 주어지지는 않습니다. 위에서 내려온 일이고, 내일까지고, 데이터를 뽑아줄 사람도 없습니다.

그럼 적어도 솔직해져야 합니다. 이번엔 근거를 못 만들었다고, 제 직관이라고, 한 번만 믿고 같이 가주겠냐고. 대신 언제까지 무엇을 보고 아니면 접을지는 정하고 가자고. 제 경험상 이렇게까지 이야기했는데 절대 안 도와준 동료는 없었습니다.

반대로 근거의 흉내를 내는 것은 정말 별로인 것 같습니다. 없는 것보다는 낫지 않냐고, 일단 깔아두면 나중에 쓸 데가 있을 거라고, 경쟁사도 하고 있다고. 사실 저도 해본 말이고, 해보고 나서야 알았습니다. 팀은 이 말이 비어 있다는 걸 금방 알아챕니다. 그냥 넘어가 주는 것뿐이죠. 그러면서 저 사람 말은 한 번 걸러 들어야 한다고 배웁니다.

그리고 직관 카드에는 잔고가 있습니다. 쓰고 난 뒤에 결과를 꺼내놓고 함께 회고해야 잔고가 채워집니다. “그때 제 직관은 이래서 틀렸습니다”를 한 번 말할 수 있으면 다음에 또 쓸 수 있죠. 쓰기만 하고 갚지 않으면, 그때부터 그 사람의 직관은 팀에게 그냥 리스크입니다.

마지막으로

제가 실험을 설계할 때 공을 들이려 하는 이유도 여기입니다. 인생의 황금기를 보내는 나와 동료들의 시간이 존중받기 위해서입니다. 한 번은 실패할 수 있습니다. 다만 그 실패가 두 번째, 세 번째로 이어지지 않았으면 합니다. 첫 번째 성공도 거기서 끝나지 않았으면 하고요.

이번에 무엇을 배웠는지 한 문장으로 말할 수 없다면, 그건 실험이 아니라 시도였을 겁니다.

의사결정에 참여하는 사람으로서의 조급함이 동료의 시간을 태우는 쪽이 아니라, 다음 번을 조금 더 확실하게 만드는 쪽으로 쓰이길 바랍니다.

참고한 것들

더 읽어볼 것으로는 Marty Cagan의 The Inconvenient Truth About Product와 John Cutler의 12 Signs You’re Working in a Feature Factory를 추천합니다.

← Think 전체 보기