안녕하세요, HBR Korea조진서입니다. 요즘 많은 기업이 이른바 빅데이터, 그리고 알고리즘 분석에 관심을 두고 또 사용하고 있습니다. 뉴욕타임스의 분석 알고리즘은 독자들이 SNS에 공유할 가능성이 가장 높은 기사를 알아냅니다. 또 삼성전자는 2015년부터 신입사원 채용에 텍스트마이닝 분석을 도입했습니다. 이력서와 자기 소개서에 특정 단어가 많이 등장하는 사람은 입사 후 성과가 나쁠 가능성이 많다는 겁니다. 수만 명의 이력서를 컴퓨터 알고리즘이 자동으로 걸러냅니다. 그런데 이런 알고리즘 분석에는 한계가 있습니다. 알고리즘은 뉴욕타임스의 기사 중 어떤 것이 SNS에 많이 공유될 것 같은지는 말해주지만 왜 그런지는 말해주지 않습니다. 또 알고리즘은 어떤 직원이 가장 성공 가능성이 큰지는 알려주지만, 성공을 위해 가장 중요한 자질이 무엇인지는 알려주지 않습니다. 알고리즘은 원인과 이유를 알려주지 않습니다. 빅데이터 분석과 알고리즘의 한계를 이해하고 알고리즘을 더욱 더 잘 활용하는 방법을 하버드비즈니스리뷰 2015년 1월호에서 다뤘습니다. 먼저, 하드 목표와 소프트 목표를 설정하는 게 중요합니다. 소프트 목표란 무엇인지, 이해를 돕기 위해 예를 들어보겠습니다. 미국의 한 도시의 보건위생 당국이 빅데이터를 이용해 식당의 위생검사를 하기로 했습니다. 예전엔 무작위로 식당을 선정해서 검사했지만 빅데이터 분석과 알고리즘을 통해서 위반이 많을 것으로 추측되는 식당을 집중적으로 조사하게 됐습니다. 여기엔 인터넷 식당 평가 사이트의 텍스트 분석도 포함됐습니다. 그런데 이렇게 하다보니 특정 지역, 특히 저소득층 소수민족 거주자들이 많이 모여사는 동네에 검사가 집중되게 됐습니다. 마치 가난한 동네를 콕 집어서 조사하게 되는 것처럼 보이게 됐습니다. 담당 공무원들이 모여서 대책회의를 했습니다. 이들은 시민들의 불필요한 오해를 막기 위해, 한 지역에서 몇 회 이상의 검사를 할 수 없도록 하는 상한선을 마련했습니다. 기계 알고리즘이 잘 수행하는 하드 목표는 위반 가능성이 높은 식당을 찾아내는 것입니다. 기계 알고리즘만으로는 수행할 수 없었던 소프트목표는 시민들에게 공정한 위생검사가 이뤄지고 있다는 인식을 주는 것입니다. 미국에서는 political correctness, PC라고 부르는 개념입니다. 기계가 이런 것까지 고려할 수는 없습니다. 둘째, 기계 알고리즘은 근시안적이라는 것을 고려해야 합니다. 주로 단기 결과를 가져오는 데이터 분석을 하기 때문입니다. 단기적 성공과 장기 이익, 그리고 폭넒은 기업 목표에는 충돌이 있을 수 있습니다. 인간은 굳이 말하지 않아도 이를 묵시적으로 이해하지만, 알고리즘에게는 분명히 말을 해줘야 합니다. 예를 들어 언론사의 웹사이트에서 클릭수를 최대화하는 알고리즘은 선정적이고 도발적인 기사를 상단에 배치할 것입니다. 하지만 그게 그 언론사의 장기 이익에 꼭 부합하지는 않습니다. 의류회사가 인터넷에 광고를 낼 때 단기 목적은 방문자수 증가이겠지만, 진짜 목적은 회사의 전체적인 수익 증대일 것입니다. 일반적인 인터넷 광고 알고리즘은 브랜드 이미지와 고객 충성도까지 고려하지는 않습니다. 이런 문제를 해결하기 위해 미국의 의류업체 갭은 처음부터 판매량 증가, 낮은 반품률, 좋은 평판 등 폭넓은 목표를 설정했습니다. 반품, 온라인 리뷰, 갭 이라는 단어에 대한 검색 빈도등도 측정하고 있습니다. 데이터의 종류가 다양해야 더 폭넓은 인사이트를 얻을 수 있습니다. ^^ 마지막으로, 상관관계와 인과관계의 차이를 고려해야 합니다. 우리가 자주 빠지는 인식의 함정입니다. 예를 들어 트위터 사용자들을 대상으로 데이터를 분석한 결과, 글을 짧게 쓸수록 리트윗 되는 회수가 많다는 결론을 얻었다고 가정해보시죠. 그렇다고 해서 글을 짧게 줄여야 겠구나, 라고 생각하면 안 됩니다. 트위터에서 짧은 글이 효율적인 데에는 다른 요소들이 많습니다. 길이를 줄여도 다른 요소들이 변하지 않는다면 도움이 되지 않기 때문입니다. 다시 말해 리트윗 횟수와 글의 길이는 분명 반비례의 관계가 있지만, 어느 하나가 다른 하나의 이유가 된다고 볼 근거는 없습니다. 지금까지 빅데이터 분석과 알고리즘의 한계, 그리고 그 한계를 보완할 수 있는 인간의 역할에 대해 정리해봤습니다. 알고리즘은 인간의 관찰로 감지하기에는 너무 미묘한 패턴을 파악하고, 그 패턴을 사용해 정확한 통찰력을 생성하고, 더 나은 의사결정을 할 수 있게 해줍니다. 알고리즘의 위험과 한계를 이해하고 효과적으로 관리해서 그 잠재력을 최대한 이용해보시죠.