A안과 B안, 숫자로 못 가릴 때 — 바꾸기 쉬운 결정과 어려운 결정

광고 두 개를 나란히 걸어 두고 사흘을 봤습니다.
한쪽이 조금 앞섰고 그쪽으로 정했습니다.
그런데 누른 사람이 양쪽 다 열 명 안팎이었다면,
그 차이는 손님이 다르게 반응한 것일 수도 있고
그냥 그 사흘이 그랬던 것일 수도 있습니다.
우리에게는 둘을 갈라 볼 방법이 없습니다.
왜 우리 실험은 결론이 안 나나요?
나누는 순간 양쪽 모수가 절반이 되기 때문입니다.
실험이 성립하려면 양쪽에 사람이 충분히 와야 합니다.
하루에 열 명이 들어오는 자리를 둘로 가르면 한쪽에 다섯 명씩 쌓입니다.
수가 적으면 차이는 늘 납니다.
문제는 그 차이가 소재 때문인지
그날이 그랬던 것인지 갈라 볼 수 없다는 점입니다.
숫자가 나왔다는 것과 결론이 났다는 것은 다릅니다.
기간을 늘리면 수는 모입니다.
대신 그사이에 요일과 계절이 지나가고 경쟁 상황도 달라집니다.
오래 잴수록 조건이 흔들려서, 무엇 덕분에 이겼는지가 다시 흐려집니다.
우리가 내놓은 둘이 애초에 크게 다르지 않은 경우도 흔합니다.
같은 사람이 같은 날 만든 두 안은 대개 비슷하게 생겼습니다.
비슷한 것끼리 견주면 차이는 더 안 납니다.
그래서 사흘 만에 정해지는 것은 대개 하나뿐입니다.
어느 쪽이 낫다는 사실이 아니라, 더 이상 고민하지 않아도 된다는 사실입니다.
그럼 무엇을 재야 하나요?
한 건의 승패가 아니라 방향입니다.
소재 둘 중 어느 것이 나은지는 우리 규모에서 대개 못 잽니다.
그런데 한 달 치를 묶어 놓고 보면 달라집니다.
사람이 나온 사진들과 제품만 있는 사진들,
값을 밝힌 문구들과 밝히지 않은 문구들로 묶습니다.
한 건씩 보면 몇 명이던 것이 묶음이 되면 수가 모입니다.
재는 단위를 올리면 한 번의 우연이 묻힙니다.
대신 답은 늦게 나옵니다. 이번 주에 무엇을 걸지는 여기서 안 나옵니다.
묶어서 보려면 만들 때부터 무엇을 다르게 했는지 적어 둬야 합니다.
나중에 몰아서 갈라 보려고 하면
그때 무엇을 왜 그렇게 만들었는지가 남아 있지 않습니다.
이 방식은 지금 하나를 고르는 데 쓰는 것이 아니라
다음 것을 만들 때 씁니다.
묶음으로 본 것이 쌓이면 처음 만드는 소재의 출발선이 달라집니다.
재지 못하는 것은 어떻게 정하나요?
나중에 바꿀 수 있는지로 가릅니다.
한번 정한 것을 나중에 바꾸는 데 드는 값은 결정마다 다릅니다.
광고 문구는 내일 바꿀 수 있지만,
홈페이지 구조나 값을 매기는 방식은 그렇지 않습니다.
바꾸기 쉬운 쪽은 오래 붙잡을 자리가 아닙니다.
빨리 정하고 틀리면 고칩니다.
고치는 데 드는 것이 재는 데 드는 것보다 쌉니다.
바꾸기 어려운 쪽에만 시간을 들입니다.
여기서는 재는 대신 이미 아는 것을 모읍니다.
손님이 실제로 물어본 말, 상담에서 되풀이되는 질문, 계약이 깨진 자리의 이유가 그것입니다.
광고에서 내리는 결정은 대부분 앞쪽입니다.
그런데 회의 시간은 대개 앞쪽에 더 쓰입니다.
바꾸기 쉬운 것을 오래 고르고, 바꾸기 어려운 것은 서둘러 정합니다.
그래도 꼭 재야 하는 것은요?
오래 쓸 결정입니다.
한 번 정하면 반년을 갈 것,
여러 채널에 같이 쓸 것이 여기 들어갑니다.
이런 것은 판을 제대로 깔 값어치가 있습니다.
오래 쓸 결정인지 아닌지는 만들기 전에 정해 둡니다.
다 만들어 놓고 재 볼지 말지를 고민하면 조건을 맞출 기회가 이미 지나가 있습니다.
그때는 기간을 넉넉히 잡아 수를 모으고 한 번에 하나만 바꿉니다.
나눠 돌리는 절차는 A/B 테스트 편이 순서대로 잡고 있습니다.
반대로 이번 주에만 쓸 배너 하나를 두고 판을 깔면,
재는 데 든 시간이 얻는 것보다 큽니다. 이때는 고르고 넘어가는 편이 낫습니다.
캠페인 자체를 접을지 늘릴지는 또 다른 판단입니다.
---
실험은 도구이지 기준이 아닙니다.
손님 수가 적은 곳에서 둘로 나누면 양쪽 모수가 절반이 되고,
거기서 난 차이는 우연과 갈라 볼 수 없습니다.
재는 단위를 묶음으로 올려 방향을 보시고,
개별 결정은 나중에 바꾸기 쉬운지로 가르세요.
쉬운 것은 빨리 정하고, 어려운 것에만 시간을 쓰면 됩니다.
---
■ 자주 묻는 질문
Q. 매체가 알아서 나은 소재를 더 돌려 준다던데요?
매체마다 방식이 다르고 공개되지 않은 부분이 있어 단정하기 어렵습니다.
다만 그 판단도 우리 계정에 쌓인 반응을 근거로 하니,
반응 수가 적으면 우리가 겪는 문제와 같은 자리에 있습니다.
맡겨 두더라도 어느 쪽에 얼마나 돌아갔는지는 화면에서 확인해 보세요.
Q. 그럼 감으로 정하라는 말인가요?
감과 기록은 다릅니다.
빨리 정하되 무엇을 보고 그렇게 정했는지는 한 줄 남겨 두시는 편이 낫습니다.
나중에 결과가 달라졌을 때 되짚을 자리가 그 한 줄입니다.
Q. 얼마나 모여야 재 볼 만한가요?
숫자로 기준을 드리기는 어렵습니다.
업종과 단가에 따라 한 건의 무게가 다르고,
같은 수라도 문의로 세느냐 클릭으로 세느냐에 따라 달라집니다.
대신 한쪽에서 하루에 몇 건 나오는지를 먼저 세어 보시면 잴 수 있는 규모인지가 대강 잡힙니다.
Q. 고른 것이 틀렸다는 걸 나중에 알면요?
바꾸기 쉬운 쪽으로 정해 두었다면 그때 고치면 됩니다.
늦게 아는 것보다 고치는 데 오래 걸리는 쪽이 더 비쌉니다.
그래서 무엇을 고를지와 함께 나중에 바꾸는 값이 얼마나 되는지를 봐 두시면 편합니다.
---
우리 규모에서 이 결정, 재 볼 수 있는 걸까요?
애드코퍼레이션은 지금 쌓이는 반응의 크기부터 함께 세어 보고,
재서 정할 것과 고르고 넘어갈 것을 갈라 드립니다.
이 주제, 우리 브랜드에는 어떻게 적용될까요?
현재 상황을 알려주시면 실행 우선순위부터 함께 정리해드립니다.