08 프로덕트를 출시하는 최적의 시기
8.2 AB 테스트를 활용해 트래픽을 분산하기
“B그룹은 5%에서 시작한 다음, 하루가 지난 시점에 20%로 올릴 예정이에요.”
“알았어요. 그럼 5%로 적용되는 시점부터 모니터링을 시작할게요.”
“저도 수치를 계속 지켜볼 테니까, 혹시라도 시스템에서 비정상적인 현상이 보이면 알려줘요.”
새롭게 개편된 UX를 선보이는 날 오전, 스크럼 회의에서 나는 개발 조직에게 계획을 안내했다.
이미 배포는 완료되었고, 새로운 디자인을 서서히 노출하는 방법을 택했다.
A/B 테스트 플랫폼이 있으면 트래픽을 분산시킬 수 있다.
트래픽(Traffic)이란 프로덕트를 사용하는 이용자들을 뜻한다.
통상적으로 다음과 같이 트래픽을 분산시킨다.
- A그룹: 신규 디자인 또는 기능에 노출되지 않는 이용자
- B그룹: 신규 디자인 또는 기능에 노출되는 이용자
보편적으로는 A그룹과 B그룹으로 분류되는 로직을 무작위로 놔둔다.
그래야 나중에 각 그룹의 수치를 비교할 때 통계적으로 유의미한 결과를 얻을 수 있기 때문이다.
특정 상황에 따라서는 B그룹을 인위적으로 형성할 수도 있다.
VIP들에게만 먼저 노출시키고 싶다면, 그들의 사용자 ID 또는 모바일 기기의 식별 번호 등을 활용하여 B그룹에 넣을 수 있다.
새로운 디자인이나 기능을 배포한 다음, 곧바로 모든 사용자에게 보여주는 건 위험하다.
물론 법적인 의무 때문에 특정 일자에 일괄 적용해야 하는 경우도 있다. 코빗에서도 금융 기관의 제재에 맞춰 특정 일자에 신규 기능을 선보여야 했던 적이 있었다.
일반적인 상황이라면, 점차적으로 노출 빈도를 높이는 것을 권장한다.
소수에게 먼저 보여준 다음, 시스템 또는 회사 매출 등의 데이터를 보면서 악영향을 끼치지 않는지 검증할 수 있기 때문이다.
만약 문제가 발생했다면, B그룹을 꺼버리고 트래픽을 모두 A그룹으로 몰아버리는 것이 가능하다. 이런 방식을 온/오프(On/Off) 스위치라고 부른다.
새로운 기능을 선보일 때, 나는 주로 다음과 같은 일정을 따른다.
| A그룹 | B그룹 | |
|---|---|---|
| 1일 차 | 95% | 5% |
| 2일 차 | 80% | 20% |
| 3일 차 | 50% | 50% |
| 4일 차 | 20% | 80% |
| 5일 차 | 0% | 100% |
처음 이틀 동안은 점차적으로 상태를 확인한다.
먼저 B그룹에 트래픽의 5%를 보내서 새로운 디자인이나 기능을 노출한다. 프로덕트를 실제 사용하는 이용자 중 5%가 기존과 다른 경험을 하게 된다는 의미다.
최대 하루 동안 여러 수치를 검토한다. B그룹의 이용률이 급격하게 줄어들었거나, 1인당 매출이 감소했거나, 시스템 에러율이 높아지는 등의 문제가 발생하는지 지켜본다.
만약 별다른 이슈가 없다면, 익일부터 B그룹 트래픽을 20%로 높인다.
그 후 하루 동안 동일한 수치들을 지켜본다. 이때는 고객센터와도 협업하여 접수되는 고객 문의 또는 불만 건수 증가율도 확인한다.
고객의 불만이 유의미하게 증가하면, 개발 조직이 인지하지 못하는 문제가 있을 수도 있기 떼문이다.
첫 이틀 동안 문제가 발생하지 않으면, 3일 차부터 A그룹과 B그룹을 동일하게 50:50 비율로 나눈다.
이 시점부터 유의미한 통계적 분석을 위해 최소 7일간 이 비율을 유지한다.
PO는 이 기간에도 시시때때로 수치를 확인한다. 갑작스럽게 문제가 발생할 수도 있기 때문에, 긴장을 놓지 않고 주의 깊게 지켜봐야 한다.
이 기간 동안 문제가 발생하지 않았다고 해도, 나는 곧바로 B그룹을 100%로 전환하지 않는다. 최소 3일 정도는 80%로 올려본 후 다시 수치를 확인한다.
트래픽이 B그룹으로 급증했을 때 예기치 못한 문제가 발생할 수도 있기 때문이다.
이 모든 과정을 거친 후, 약 2주일이 지나면 새로운 디자인이나 기능을 전체 고객에 노출시킨다.
배포를 갑작스럽게 하고 바로 이용자 100%에게 선보이는 것보다는, 이렇게 점차적으로 검증을 거듭하며 적용하는 것이 훨씬 안정적이다.
기술적인 이유 또는 그 외 법적인 의무 때문에 100%를 곧바로 적용해야 할 경우, PO는 언제든지 롤백할 태세를 취해야 한다.
롤백(Rollback)은 그 이전 버전으로 바로 되돌려 배포하는 것을 의미한다.
롤백 시에 사용되는 버전은 그 이전에 가장 안정적으로 운영되었던 것으로 택한다.
롤백한 후에 문제를 파악하고, 수정한 다음, 다시 배포하는 과정을 거친다.
이런 위험 부담 때문에라도 PO는 개발 조직과 협업하여 트래픽을 분산시켜 조정할 수 있는 환경을 조성해야 한다.
A/B 테스트 플랫폼을 활용하는 것이 가장 효율적이다.
점진적으로 노출 빈도를 늘려가면서 여러 수치를 확인하고, 안정적으로 적용할 필요가 있다.
하루라도 빨리 선보이는 것보다는, 안전하게 선보이는 것이 고객 경험에 더 큰 도움이 된다.