광고 소재 A/B 테스트, 제대로 하려면 뭐부터 봐야 하나요?

한 번에 딱 하나의 변수만 바꾸고, 두 소재를 같은 기간에 동시에 노출해서 비교하는 게 핵심이에요. 이 두 조건 중 하나라도 빠지면 결과가 어느 쪽 차이 때문인지 알 수 없거나, 시기 차이 때문에 왜곡된 결과를 진짜 소재 차이로 착각하게 돼요.

왜 같은 기간에 동시에 돌려야 하나요?

소재 A를 이번 주에 돌리고 소재 B를 다음 주에 돌리는 식으로 순서대로 비교하면, 요일별 트래픽 차이나 그 주에만 있었던 경쟁사 프로모션, 시즌 요인 같은 외부 변수가 결과에 섞여 들어가요. 두 소재의 성과 차이가 소재 자체 때문인지, 그냥 시기가 달라서 생긴 차이인지 구분할 수 없게 되는 거예요. 그래서 두 소재는 반드시 같은 기간에, 같은 조건으로 동시에 노출해서 비교해야 해요.

변수를 하나만 바꿔야 하는 이유

문구와 이미지를 동시에 바꿔서 테스트하면, 성과가 달라졌을 때 그게 문구 때문인지 이미지 때문인지 알 방법이 없어요. 한 번 테스트할 때는 문구면 문구, 이미지면 이미지처럼 딱 하나의 요소만 바꾸고 나머지는 전부 동일하게 유지해야, 결과를 보고 '무엇을 바꾸면 성과가 좋아지는지'를 다음 소재 제작에 그대로 활용할 수 있어요.

숫자로 봤을 때 승자를 어떻게 판단하나요?

예를 들어 소재 A는 노출 5만 회에 클릭 400회(CTR 0.8%), 소재 B는 노출 5만 회에 클릭 430회(CTR 0.86%)가 나왔다고 해볼게요. 소재별 CTR을 각각 구해 비교할 때는 광고 지표 계산기를 쓰면 손계산 실수를 줄일 수 있어요. B가 더 높긴 하지만, 이 정도 표본에서 차이가 30건뿐이라면 다음 주에 똑같이 돌렸을 때 순위가 뒤바뀔 수도 있는 차이예요. 노출과 클릭이 몇 배로 더 쌓여서 그 차이가 계속 같은 방향으로 유지되는지까지 봐야, 우연이 아니라 진짜 소재 차이라고 판단할 수 있어요.

클릭 몇 십 건 차이로 승자를 정해도 될까요?

흔한 오해는 두 소재 사이에 어느 정도 숫자 차이만 보이면 바로 승자를 정해도 된다고 생각하는 거예요. 노출·클릭 수가 적을 때 나타나는 차이는 대부분 우연 범위 안에 있고, 특히 전환처럼 발생 빈도가 낮은 지표일수록 표본이 훨씬 더 많이 쌓여야 진짜 차이인지 판단할 수 있어요. 표본이 적은 상태에서 성급하게 승자를 정하고 다른 소재를 끄면, 사실은 우연히 앞섰던 소재만 계속 밀어주게 되는 셈이에요.

실무에서 놓치기 쉬운 것

실무 팁으로, 두 소재를 같은 광고그룹 안에 넣고 자동입찰에 맡겨두면 초반에 먼저 반응이 좋았던 소재 쪽으로 노출이 쏠려서, 애초에 노출량 자체가 공평하게 나뉘지 않는 경우가 있어요. 이러면 나중 데이터를 봐도 어느 쪽이 정말 더 나은 소재인지 판단하기 어려워져요. 가능하면 두 소재의 노출이 비슷하게 나뉘도록 설정을 확인하거나, 플랫폼에 비교 테스트를 위한 별도 기능이 있는지 먼저 찾아보는 편이 결과를 신뢰하기 좋아요.

승자를 정한 뒤에는 끝인가요?

아니요, 승자를 정한 소재를 새로운 기준선으로 삼아 그다음 변수를 또 하나씩 바꿔가며 테스트를 반복하는 과정이에요. 한 번 이긴 소재도 시즌이나 경쟁 환경이 바뀌면 성과가 떨어질 수 있어서, A/B 테스트는 한 번으로 끝내는 절차가 아니라 계속 돌아가는 루틴으로 생각하는 게 맞아요.

테스트 결과가 안 좋게 나왔을 때 원인을 단계별로 짚어보는 방법은 광고 성과가 안 좋을 때, 뭐부터 점검해야 하나요?에서, 클릭률만으로 소재를 판단하면 안 되는 이유는 CTR이 낮으면 무조건 안 좋은 광고인가요?에서 다뤘어요.