A/B테스트가 능사는 아니다

해마다 기업들은 고객을 끌어들이고 붙들며 재구매를 유도하는 마케팅 작업에 수십억 달러를 지출합니다. 이런 엄청난 규모의 투자에도 불구하고 이들 계획이 정말로 효과가 있는지, 개선의 여지가 있는지 판가름하는 것은 정말로 어려운 일이죠. 광고 캠페인의 투자수익률(ROI)을 측정하는 방법으로 A/B 테스트가 흔히 이용됩니다. A/B 테스트에서 소비자는 두 타깃 그룹으로 나뉘며 테스트 후 그룹 간의 결과가 비교되죠. 올바른 분석적 접근이 이뤄진다면 이러한 A/B 테스트는 유용한 시사점을 제공할 수 있지만 여기서 매우 잘못된 판단을 내리는 일도 드물지 않습니다.

A/B 테스트의 실행 방식에서 오는 단점을 이해하기 위해 가상의 예시를 들어보겠습니다. 여러분이 고객유지율이 낮아져 걱정하고 있는 예술 기관과 작업한다고 상상해 볼까요. 이때 회원 탈퇴 가능성이 높다고 판단되는 회원들에게 회원 재가입에 대해 알리면서 작은 선물도 함께 보내는 방안을 고려하고 있다고 합시다. 하지만 여기에는 비용이 들기 때문에 이를 좀 더 광범위하게 확대하기에 앞서 확실히 효과가 있는지 확인하고 싶죠. 그래서 소규모의 파일럿 캠페인을 진행하기로 하는 겁니다. 선물을 받게 되는 ‘위험군’과 그렇지 않은 다른 한 그룹을 무작위로 선정하고 선물을 받는 이들이 회원제를 좀 더 갱신하는지 살펴보는 것이죠.

자, 이제 선물을 받은 그룹과 대조군 간에 유지율의 차이를 전혀 발견할 수 없다고 가정해 볼까요. 여기서 분석을 종료하게 되면 여러분은 선물 프로그램의 중지라는 결론에 이르게 될 것입니다. 이 데이터만 놓고 보면 선물 증정이 유지율에 어떠한 영향도 주지 못했다는 말이니까요. 하지만 고객의 하위 그룹을 대상으로 더 자세히 조사해 보면 다른 이야기가 드러날 수 있습니다. 예를 들어 작년에 해당 기관을 방문한 하위 그룹에 대해서는 선물이 회원제 갱신 가능성을 사실 크게 올렸던 것이고, 오랫동안 이곳을 방문하지 않았던 사람들에게는 선물이 그곳을 얼마나 드물게 방문했는지를 오히려 더 일깨우는 기능을 해서 회원제 갱신으로 잘 이어지지 않았다는 것이죠. 어떠한 작업의 평균적 효과를 평가하는 데 A/B 테스트를 쓰면 어떤 소비자에게 캠페인이 그래도 효과가 있는지에 대한 중요한 정보가 가려질 가능성이 있습니다. 분석 결과 해당 작업이 긍정적, 부정적 효과를 미치든 또는 이 글의 예시처럼 별 영향을 미치지 못하든 말이죠. 그 결과 마케팅 책임자들은 어떠한 소비자에게 무슨 캠페인을 실시해야 하는지에 있어 잘못된 결정을 내리게 되는 것입니다.

서비스 해지 방지 캠페인 최적화하기

이러한 예가 가정에 불과하지는 않습니다. 필자가 실제 진행한 연구와 작업에 기반하는 이야기입니다. 고객유지율 증가에 있어서 기업들은 흔히 ‘고위험군’, 즉 최근 행동이나 기타 특징으로 미뤄볼 때 기업의 서비스를 해지하거나 제품 구매를 중지할 가능성이 높은 고객을 파악하려 하며 어떤 캠페인이 고객유지율 상승에 효과적인지 판단하기 위해 A/B 테스트를 진행합니다. 이러한 전략은 이해가 가는 접근이긴 합니다. 서비스를 계속 이용할 소비자에게는 마케팅 자원을 사용하고 싶지 않을 테니까요. 하지만 필자가 진행한 연구를 보면 이는 중대한 역효과를 불러올 수 있으며, 이때 기업은 마케팅 비용을 지출하고도 전체 고객유지율과 투자수익률의 감소를 부르는 잘못된 결정을 하게 됩니다.

고객유지율 캠페인을 시행하는 두 대형 기업과 현장 시험을 진행한 바 있습니다. 이 연구에서 두 회사는 모두 해지율 감소 캠페인을 신설한 후 A/B 테스트를 진행해 총 1만4000명의 고객을 대상으로 해지율을 추적했습니다. 여기서 임의로 지정된 고객 그룹 하나는 캠페인을 접하게 되며, 다른 그룹은 캠페인에 노출되지 않습니다. 그다음 해지 위험도를 예측하는 데 활용되는 고객의 최근 활동과 기업 서비스 참여 정도, 기업의 고객으로 활동을 유지한 기간, 위치 등의 기준을 포함하는 방대한 고객 데이터를 수집해 이러한 변수 중 무엇이 캠페인에 대한 긍정적인 반응과 연관돼 있는지 조사했습니다.

그 결과 두 회사 모두에서 해지 위험도가 가장 높은 고객들이 고객유지율 캠페인의 최적 대상은 아니라는 것을 알 수 있었습니다. 사실 고객의 해지 위험률 정도와 캠페인에 대한 예민도에는 별 상관관계가 없었습니다. 데이터를 보면 각 캠페인에 강한 반응을 보인 그룹(특정한 행동적 또는 인구학적 특징으로 인해 캠페인 노출 후 일관되게 서비스를 유지할 것으로 여겨지는 고객들)이 뚜렷이 구분되는데, 이러한 ‘고예민도’ 그룹은 ‘높은 해지 위험도’로 파악된 사람들과 거의 겹치지 않았죠. 분석에 따르면 두 회사가 해지 위험도가 높은 그룹이 아니라 고예민도 그룹을 타기팅해 같은 규모의 마케팅 예산을 집행할 경우, 해지율을 추가적으로 각각 5퍼센트와 8퍼센트 감소시키는 것으로 나타났습니다.

고객유지율 캠페인에 대해 고객의 더 큰 반응을 이끌어내는 구체적인 요인은 물론 조직, 캠페인에 따라 다르게 나타나겠지만 우리는 위에 서술한 것과 같은 파일럿 캠페인을 실행하여 특정 캠페인에 대한 고객의 예민도를 가장 잘 예측해주는 변수가 무엇인지 더 잘 파악할 수 있습니다. 저는 고객이 이전 한 달 동안 몇 건의 전화를 했는지, 문자는 얼마나 보냈는지, 다운로드는 얼마나 많이 했는지 등과 같은 행동 변수에 관한 세부적 데이터를 보유한 통신 회사와 연구를 진행한 적이 있는데요. 이 기업의 데이터는 기업 서비스에 대한 고객의 최근 참여도를 통해 기업이 해지 위험률 수준을 예측할 수는 있지만 이 척도가 해지 캠페인에 대한 고객 민감도에는 별 영향을 미치지 않는다는 것을 보여주었습니다. 민감도가 말해주는 것은 고객의 데이터 사용량이었죠. 그렇다면 투자수익률의 극대화를 위해서는 오랫동안 활동을 보이지 않은 고객이 아니라 데이터를 가장 많이 이용한 고객을 대상으로 고객유지율 캠페인을 타기팅하는 것을 고려해야 한다는 것을 의미합니다.

예측은 그만, 이제 처방을 하자

그러면 이것이 마케팅에서는 무엇을 의미할까요? 마케팅적 개입이 없을 때 예상되는 고객의 행동이 아니라 이 개입에 대한 고객 각각의 기대 반응에 근거한 타기팅으로 마케팅 전략을 실행해야 한다는 것을 우리는 유념해야 합니다. 어떤 의미에서 마케팅 담당자는 의사와도 같습니다. 생존이 어려운 환자라도 의사는 아무 처방이나 내리지는 않죠. 환자에게 의사가 어떤 처방을 내리는 이유는 이 처방이 제일 예후가 좋을 것으로 보기 때문입니다.

마케팅 담당자들은 고객이 무엇을 할지 예측(즉 서비스 해지의 위험도를 측정)하기보다는 상이한 유형의 고객들이 특정 캠페인에 어떻게 반응할 것인지에 더 초점을 맞추며 그 후 해당되는 고객 집단 내에서 해지나 이탈을 줄이는 데 가장 효과적인 캠페인을 설계해야 합니다. 기업이 A/B 테스트 데이터를 이용하는 목적은 단순히 전 고객을 대상으로 캠페인의 전체적 효과를 측정하는 데서 그치지 않고 특정한 마케팅적 개입 행위에 어떠한 유형의 고객이 가장 민감하게 반응하는지 알아보는 것이어야 합니다. 즉 고객의 거래 내역과 인구학적 데이터를 A/B 테스트를 통해 수집된 데이터와 결합하여 고객의 가장 적극적인 반응을 이끌어내는 행위와 특징에는 무엇이 있는지 발견한다는 말입니다. 많은 기업이 이미 이러한 데이터를 수집하는 것은 다행스러운 일입니다. 새로운 방식으로 활용하기만 하면 되는 것이죠.

***

마케팅 캠페인을 타기팅해 진행하는 것이 새로운 개념은 아닙니다. 하지만 그 타기팅 결정 방식을 세심히 생각하는 것은 매우 중요한 일이죠. 기업들은 누가 강력한 타깃인지를 보여주는 요소는 무엇인지, 우선적으로 타기팅되어야 하는(해지 위험이 높은 고객과 같은) 그룹은 무엇인지에 대해서만 생각하기보다는 캠페인에 가장 예민하게 반응하는 고객을 타기팅해야 합니다. 투자수익률 극대화를 위해 마케팅 담당자들은 “이것이 효과적인 캠페인인가?”라고 물을 것이 아니라 “이 캠페인이 누구에게 가장 효과적인가?”라고 물어야 하죠. 그리고 나서 이 질문에 답에 따라 캠페인을 타기팅하는 것입니다.

원문: Research: When A/B Testing Doesn’t Tell You the Whole Story



에바 애스카자는 하버드경영대학원의 자쿠르스키 학파(Jakurski Family) 부교수이다.

출처: 하버드비즈니스리뷰 2021년 7월