안녕하세요, 이방실입니다. 영어 표현에 “too good to be true”라는 말 들어보셨나요? 도저히 믿겨지지 않을 만큼 좋은 소식을 접했을 때 쓰는 말인데요, 이럴 때 사람들 반응은 크게 세 가지로 나뉘죠. 좋다고 덥석 믿는 사람, “에이~ 말도 안돼” 하면서 무조건 무시하는 사람, 아니면 “정말 사실이야?” 하면서 계속 질문을 해 대는 사람, 이렇게요. 경영 현장에서 통계 숫자를 접할 땐, 이 셋 중 어떤 태도가 좋을까요? 당연히 마지막 세 번쨉니다. 트위먼의 법칙이란 걸 들어보셨나요? 영국의 미디어 리서치 애널리스트인 토니 트위만이 한 말에서 나온 용언데요. 트위먼은 20세기 초반까지 영국에서 TV와 라디오 시청률 산정의 대가라고 꼽힐 만큼 통계에 대한 식견이 탁월했던 사람인데, 그가 과거 이런 말을 했습니다. “통계에서 흥미롭거나 특이한 수치가 나왔다면, 그건 아마 잘못된 수치”라고요. 물론 흥미롭거나 특이한 수치, 혹은 도저히 믿겨지지 않을 만큼 좋은 숫자가 나왔다고 반드시 100% 틀린다는 보장은 없습니다. 하지만 적어도 이럴 때 우리의 자세는, 이걸 좋다고 무턱대고 받아들이기보다, 정말 신뢰할만한 숫자인지, 정말 사실인지를 꼼꼼히 따져 볼 필요가 있다는 겁니다. 특히, 요즘처럼 IT 기술이 발달한 시대엔 이런 검증 작업이 과거보다 훨씬 쉬워졌습니다. 온라인이라는 툴을 이용하면, 과거보다 훨씬 짧은 시간, 훨씬 적은 비용으로 대단위 조사가 가능해 졌거든요. 그만큼 데이터 신뢰성을 검증해 보는 일이 예전보다 수월해졌단 얘기죠. 이와 관련해, 최근 HBR코리아에 소개된 마이크로소프트의 검색엔진, 빙에 대한 이야기를 들려드릴까 합니다. 4년 전 빙은 제목과 링크, 캡션 등을 포함해 검색 결과 페이지에 나타나는 다양한 텍스트의 색상과 관련해 일련을 실험을 했다고 합니다. 그 중엔 파란색과 녹색은 아주 살짝만 더 어둡게 하고, 검은색 캡션은 아주 약간만 밝게 했을 때, 소비자들의 검색이 어떤 연향을 받는지를 살펴보는 것도 있었다고 합니다. 얼마나 살짝 변화를 줬는지, 색상 변화를 감지하기 힘들 정도로 미미한 수준이었다고 합니다. 그런데도 소비자들의 반응은 크게 달라졌습니다. 약간 더 어두운 파란색과 녹색, 그리고 약간 밝은 검은색 환경일 때, 소비자들이 검색에 성공할 확률이 더 높았고, 원하는 내용을 발견하는 데 걸리는 시간도 훨씬 짧아졌다고 합니다. 정말, 흥미롭고, 특이하고, 믿겨지지 않을 만큼 좋은 소식이었던 거죠. 그 후 마이크로소프트는 어떻게 했을까요? 곧바로 좋~다면서 색깔을 바꿨을까요? 아니면 디자인 전문가도 아닌, 소위 ‘막눈’을 가진 일반인들이 뭘 알겠냐며 무시했을까요? 둘 다 아닙니다. 마이크로소프트는 마지막 세 번째 방법을 택했습니다. 무려 3200만 명이라는 어마어마한 소비자들을 대상으로 다시 한번 실험에 들어간 거죠. 결과는 똑같이 나왔습니다. 이후 빙은 색상을 변경했고, 이로 인해 증가된 매출액은 연간 1000만 달러에 달합니다. 마이크로소프트는 빙 뿐만 아니라 윈도우, MS오피스, 스카이프 등 자사의 서비스에서 뭔가를 바꾸고자 하는 경우 거의 항상 이런 온라인 A/B테스트를 실시합니다. 이를 위해 전담인력만 80명 이상을 두고 있습니다. 이렇게 A/B테스트 실험을 해보면, 1/3은 효과가 증명되고 1/3은 중립적이며 나머지 1/3은 오히려 부정적인 결과를 가져온다고 합니다. 요즘은 포털에서 검색을 한 다음 링크를 누르면 새 탭이 열립니다. 하지만 원래부터 이렇지는 않았습니다. 과거에는 링크를 누르면 포털 화면에서 해당 링크로 자동 이동을 하는 방식이었죠. 2010년에 마이크로소프트가 1200만명의 사용자를 대상으로 A/B테스트를 진행한 후에 현재와 같은 방식으로 바꿨습니다. 새 탭에서 링크가 열리는 방식을 택하자 클릭수가 5%나 증가했다고 합니다. 이제는 마이크로소프트뿐 아니라 페이스북, 트위터 등 거의 모든 서비스들이 이런 방식을 사용합니다. 대규모 테스트를 진행하는 것이 귀찮다거나 비용이 든다고 해서 무시하면 더 큰 손해를 볼 수 있습니다. 마이크로소프트는 한 때 검색엔진 담당자의 의견에 따라, 빙 검색결과 페이지 상단부에 페이스북과 트위터 검색 내용이 보여지도록 만든 적이 있는데요, 그렇게 해도 클릭수는 전혀 증가하지 않았습니다. 개발비로만 2500만 달러를 날렸다고 합니다. 전문가가 하자는 대로 덥썩 따르지 말고 사용자를 대상으로 A/B테스트를 해봤다면 필요 없는 비용지출을 줄일 수 있었을 것입니다. A/B테스트를 진행할 때는 주의해야 할 점도 있습니다. 페이스북에서 해외 명품 브랜드 페이지에 ‘좋아요’를 누른 사람일수록 그 브랜드의 웹사이트 방문 가능성이 높다는 A/B테스트 결과가 나왔다고 해보죠. 이것을 놓고, ‘‘좋아요’를 누르면 웹사이트를 방문할 가능성이 높아진다‘고 해석하면 될까요? 아닙니다. 원래부터 해당 브랜드에 관심이 많은 사람이 페이스북에 좋아요를 누를 가능성도 높고 브랜드 웹사이트 방문을 할 가능성도 높다고 봐야 합니다. 이렇게 인과성에 대한 가정을 피하는 것이 온라인 A/B테스트를 할 때는 아주 중요합니다. 마지막으로 드리는 조언이 있습니다. 실험 결과가 예상했던 바와 다르게 나오더라도 실망 할 필요가 없습니다. 어떤 일이 일어날 거라고 생각했는데 실제로도 일어나는 경우보다, 어떤 일이 일어날 거라고 생각했는데 실제로는 일어나지 않았을 때 우리가 배울 수 있는 점이 더 많습니다. 일일 사용자가 수천 명 정도만 되어도 온라인 A/B 테스트를 충분히 실행해볼 수 있습니다. 신규 제품 출시나 서비스 변화 이전에 항상 A/B 테스트를 할 수 있다면, 어떤 기업이든 비용 절감과 신규 매출 확보, 고객 충성도 제고에 도움이 될 것입니다. 감사합니다.