[코드스테이츠 PMB 15기_W5D3] 여기어때, 부킹닷컴을 통해 보는 A/B테스트

이번에는 A/B테스트를 걸친 두가지 제품 사례를 다뤄보고자 한다.

출처: splitmetics.com

먼저, A/B테스트란 무엇일까?

두 그룹(A, B)의 사용자들에게 서로 다른 페이지나 기능을 보여준 뒤 어떤 그룹에서 더 좋은 성과가 나타나는지, 긍정적인 UX를 제공할 수 있는지를 지속적인 시험을 통해 정량적으로 평가할 수 있는 테스트 기법이다.
쉽게 말해 두 그룹의 대조를 통해 어떤 변수가 더 효과적인지를 판단하는 것인데, 단일 변수에 대해 두 가지 버전을 비교하는 방법이다.

A/B테스트가 중요한 이유는?

제품에는 페르소나(제품 사용으로 가치를 얻을 수 있는 문제나 상황을 가진 고객)가 있다.
완성도 높은 페르소나를 설정하면, PM이 의사결정을 돕는 도구가 될 수 있다.
문제는, 고객 인터뷰나 설문을 실행해도 정확한 페르소나를 찾기 어려울 때가 있다는 점이다.
그럴 때 A/B테스트를 진행하면 제품과 고객, 시장에 대한 인사이트를 도출하여 고객에 대한 이해도가 높아진다.

첫 번째 사례: 여기어때 항공 서비스 론칭

나는 여기어때가 숙박만을 제공하는 서비스라고 생각했는데, 알고보니 항공 서비스도 제공하고 있었다.
국내 A/B테스트 사례를 찾아보다가 국내에서 A/B테스트를 진행, 결과 분석을 도와주는 핵클이라는 플랫폼을 알게 되었고, 핵클의 블로그를 참고하였다. 여기서 여기어때에서 진행한 A/B테스트에 대한 사례를 접할 수 있었는데 흥미로워 가져와봤다.
여기어때 항공팀은 올해 5월 서비스 론칭부터 A/B테스트를 활발하게 진행하고 있다.

문제정의: 항공 서비스 화면에서 할인 정보 전달을 어느 방식으로 알리는 것이 전환율을 높일까?

여기어때는 위의 사진과 같이 발권 수수료 할인 정보를 어느 방식으로 알리는 것이 좋은지도 A/B 테스트를 통해서 결정했다.
여기어때에서 지표 선정은 도메인에 따라 달라지는데, 항공 같은 경우 이전에 전사 총거래액(GMV)와 전환율(CVR)을 성공 지표로 봤다고 한다. 그러나 항공권을 구매한 사람들이 다른 것을 구매할 확률이 높지 않다보니 전사 지표로 유의미한 성공을 결정하긴 어려웠고, 항공 도메인은 '전사 지표는 참고용으로만 보자'라는 기조로 가고 있다고 한다.

해결: A/B테스트를 통해 A안으로 결정

여기어때에서 만든 항공 홈 화면의 A안을 보면, 검색 버튼 아래에 '여기어때는 항공 발권 수수료 없음!'이라는 라이팅과 옆에 지폐처럼 보이는 아이콘이 있다. 지금 들어가서 확인해보면 저 아이콘은 숫자가 움직이며 0W으로 내려간다.
B안을 보면, '모든 항공권 발권 수수료 없음!'이라는 라이팅이 적혀있고 검은색으로 화면과 대비를 준 말풍선 이미지가 있다.
여기어때 내부에서는 ‘B안이 되게 좋을 거다’, 어쩌면 대박일 거다'라는 기대를 갖고 있었다고 한다. 로또를 사는 마음으로 a/b테스트를 진행했는데, 의외로 B안이 저조했다고 한다. 실험을 하지 않았다면 의심없이 B안으로 론칭했을 것이고, 전사적으로 부정적인 효과가 발생했을지도 모른다. 사실 실험은 성공 케이스를 찾아내는 것보다 실패 케이스를 배포하지 않는 것에도 의의가 있다.

 

여기어때의 사례를 통한 인사이트

먼저, 여기어때에서 A/B테스트를 통해 A안으로 결정하게 된 것은 팀의 추측이 아닌 정확한 데이터를 기반으로 했다.
커머스 업계는 경쟁도 치열하고 변화도 너무 빠르다. 고객이 원하는 것을 가장 쉽고 빠르게 확인하는 게 a/b테스트이다. 이때 단순 짐작이 아닌 실험에 기반하여 제품을 개발해야, 새로운 혁신을 만들어 낼 수 있을 것이다.
제품이 성장하는 과정에서 a/b테스트가 큰 도움이 될 수 있다.

내가 제안하는 개선안

직접 여기어때 항공 화면에 들어가보니, '여기어때는 항공 발권 수수료 없음!'이라는 문구에서, 여기어때만의 장점을 잘 설명하고 차별화하고 있는 것 같다. 또 옆에 있는 지폐 아이콘이 숫자가 다이나믹하게 움직이며 0W까지 떨어지는데, 고객들이 직관적이고 재미있게 느낄 수 있고 화면에 집중하게 되는 요소가 된다고 생각한다.

내가 여기어때의 PM이라면,
화면 아래에 빈 공백이 많고 팝업창이 작은 편이라, 옆으로 스와이프 하는데에 다소 불편감이 있기때문에
팝업창을 키워 사용자들이 넘겨보기에 편리함을 주어 클릭율을 높힌다는 가설을 세워 테스트를 진행해보자고 제안 할 것 같다.

 

두 번째 사례: 부킹닷컴의 카피 수정 테스트

부킹닷컴은 세계 최대 숙박 예약 플랫폼이다. 연간 2만 5천 건이 넘는 A/B 테스트를 실행하는 등 데이터 분석 중심의 업무를 수행한다.

문제정의: '둘러보기'진입 팝업에서의 이탈

부킹닷컴은 숙박 업주가 온라인에 전시한 방을 소비자가 예약하는 방식으로 운영되고 있다.
가장 중요한 지표는 플랫폼에서 성사된 예약 수이다. 예약 수에 영향을 주는 지표로는 예약 취소율, 숙박 경험 만족도, 활성 소비자와 숙박업수의 수가 있다.

부킹닷컴은 숙박 업주용 제품은 방을 등록하고 예약을 관리하는 기능으로 구성되어 있어서, 각 기능의 사용법을 알려주는 온보딩을 진행하고 있었다.
이때, 온보딩에서 캘린더 기능의 문제를 발견했다고 한다. *이 사례에서 부킹닷컴의 타겟은 숙박 업주이다.
숙박업주는 캘린더 기능으로 소비자가 예약할 수 있는 날짜와 일자별 가격을 설정한다. 이 기능은 중요했기 때문에 '둘러보기'를 통해 세부 조작법을 알려주고 있었다.
이 '둘러보기' 단계를 시작할 때 나타나는 팝업창은 캘린더 기능에 관한 요약과 진행, 건너뛰기 버튼으로 구성되어 있었다.
많은 숙박업주는 이 둘러보기 단계를 건너뛰었다. 둘러보기 단계를 진행하지 않으니, 이 제품의 사용법을 잘 몰라 어려움을 느꼈고, 높은 이탈률로 이어졌다.

해결: 가치 전달에 집중한 '둘러보기' 진입 팝업 카피

부킹닷컴은 먼저 팝업의 건너뛰기 버튼을 제거했다. 이후 '둘러보기'를 진행하는 숙박 업주 비율이 13% 늘었다.
13%나 늘었다는 것은 고무적이다.

그런데 후속 실험에서는 더 놀라운 결과가 나타났다.
부킹닷컴은 단순하게 기능을 나열한 팝업 카피에서 '둘러보기'단계로 얻을 수 있는 이점을 안내하는 문구로 바꾸었다.
캘린더 기능이 자신이 상황에 맞게 예약을 받는데 도움이 되며, 지금 배우면 시간을 아낄 수 있다는 점을 알려준 것이다.
즉, 제품이 가진 가치를 언급했다.
숙박업주는 이 단계를 확인하는 데 동기가 생겼고, '둘러보기' 진행 비율은 50% 상승했다.

부킹닷컴이 세운 가설과 기간은 정확하게 파악하기는 어려웠지만, 가설을 추측해보았다.
부킹닷컴이 실행한 A/B테스트를 살펴보면,
'가치 중심의 카피를 전달하면, 숙박업주가 '둘러보기'를 행동할 확률을 높이게 되고, 이탈률은 낮아질 것이다.'와 비슷하게 세우지 않았을까 생각한다.

부킹닷컴의 사례를 통한 인사이트

부킹닷컴의 사례에서,
제품 기능만을 설명한 화면보다, 제품이 고객에게 주는 혜택과 이점을 안내한 화면의 차이는 컸다.
제품 설명보다 설명 방식이 더 중요하다는 것을 느꼈다. 제품은 고객이 제품의 가치를 쉽게 알 수 있도록 화면을 설계해야 한다.
고객의 행동이 요구되는 부분에서 고객이 '왜 그래야 하는지?'가 충분히 설명되어야 고객이 제품을 사용하도록 유도할 수 있다.

내가 제안하는 개선안

부킹닷컴이 건너뛰기 버튼을 삭제하고, 가치중심전달 카피로 숙박 업자들의 행동을 유도한 것 모두 좋은 개선안이라고 생각한다.
내가 제안을 해본다고 한다면 '둘러보기'를 실행했을 때 숙박 업자가 어떤 이점과 혜택을 얻을 수 있는지에 대한 설명과 일관성이 있는 일러스트를 넣거나 폰트 색상을 바꾸어 가독성을 높일 것 같다.

---

넷플릭스나 부킹닷컴, 아마존, 쿠팡 등의 기업에서 A/B테스트를 활발히 진행한다고 한다.
국내 A/B테스트 사례를 찾기는 어려웠는데, 핵클 유튜브에서 여기어때 CPO님과 이야기를 나눈 'A/B테스트를 도입하기까지'라는 컨텐츠를 보고 그 이유가 이해가 됐다.
CPO님도 처음 여기어때에 와서 A/B테스트를 도입하기 위해 사람들을 설득해야했고, 많은 노력을 기울였다고 한다.
A/B테스트를 적극 도입하고 활용하는 국내 기업이 많지는 않은가보다 싶었다.
무튼 인터뷰에서, 여기어때 CPO님이 생각하는 A/B테스트의 장점은 앞서 말했듯 짐작이 아닌 데이터 기반이기에 회사와 고객을 만족시킬 수 있는 점과 더불어 자신이 이뤄낸 것을 정확하게 수치로 표현할 수 있다는 것이라고 말하셨는데 그 말이 인상적이었다.
그래서 누군가 이 제품에 너희 팀이 어떤 걸 이뤄냈는데? 라고 물어봤을 때, 정확하게 대답할 수 있다는 것은 서비스에 자부심과 애착을 가지게 되는 계기가 될 수 있다고 느꼈다.






참고자료
https://techblog.gccompany.co.kr/%EC%97%AC%EA%B8%B0%EC%96%B4%EB%95%8C-%ED%95%AD%EA%B3%B5%EC%84%9C%EB%B9%84%EC%8A%A4-%EC%86%8C%EA%B0%9C-f07ce68e8ac9

여기어때 항공서비스 소개🛫

https://blog.hackle.io/post/gccompany-2?utm_source=blog&utm_content=gcccompany-1

핵클 블로그(Hackle Blog) : 프로덕트 팀의 성공으로 이끄는 실험 프로세스 만들기

https://booking.design/what-we-learned-onboarding-2-million-hosts-on-booking-com-99412c03fa3a

What we learned onboarding 2 million home and apartment owners on Booking.com