Go to list

내일모래 가설 검증 회고

이 글은 졸업 후 인턴하며 병행한 사이드 프로젝트 내일모래에 대한 회고입니다.

프로젝트를 하게 된 배경

“자립준비청년이 겪는 정서적 문제를 해결할 수 있을까?”

자립준비청년에게 도움이 되기 위한 하나의 방법으로 목소리 봉사 서비스를 만들고자 했습니다.

봉사자가 응원의 목소리를 녹음하면, 자립준비청년이 듣고 정서적으로 힘을 받습니다.

들은 후 감정 표현과 편지를 보내면, 봉사자가 보람을 느끼는 식으로 순환되는 구조입니다.

이를 위해 두 가지 가설을 세웠습니다.

  1. 자립준비청년은 응원의 목소리를 듣고 싶어할 것이다.
  2. 그들은 서비스를 이용하고 7일차 재방문율이 30% 이상일 것이다.

이처럼 가치 가설과 성장 가설을 세우고 제품을 만들어 검증해보고자 했습니다.

만들기

React Native로 개발했습니다.

  1. 푸시 알림 같은 네이티브 기능을 사용하고
  2. 양사 앱스토어 출시하고
  3. 사용성과 개발 속도를 높이기 위함이었습니다.

출시 전 5번의 심사 거절을 받았습니다.

그 과정에서 1) 신고 기능 추가, 2) 푸시 알림 권한을 선택적으로 변경, 3) 소셜 로그인 가이드를 추가했습니다.

측정: 가설이 맞았을까?

  1. 가입률: 0.88% (2,500명 오픈채팅방 홍보 → 22명 가입)
  2. 7일차 재방문율: 16.7%
    • 1일차 재방문율: 22.2%

위 그래프에서 보이는 것처럼, Retention Plateau가 형성되지 못하고 추락했습니다.

이는 PMF(Product-Market Fit)를 찾지 못했음을 의미하며, 목표였던 30% 또한 달성하지 못하고 가설 검증에 실패했습니다.

학습: 무엇을 배웠을까

1. 가치와 성장을 동시에 잡는 건 어렵다

“취지는 좋으나…"
"실질적이고 즉각적인 보상이 아니면 사용하지 않는다”

가치는 있는 것 같은데 유지는 안 되었습니다.

재방문할 이유가 부족했던 것이죠.

유지가 안 되어 사용자가 떠나가는 데이터를 보며, 가치뿐만 아니라 리텐션이 제품의 기본 체력임을 체감했습니다.

제품의 기본 체력에 대한 이야기는 토스 PO 세션을 보고 알게 됐습니다.

2. 학습에 기여하지 않는 모든 것은 낭비다

린 스타트업에 보면 “학습에 기여하지 않는 모든 것은 낭비다”라는 말이 인상깊었습니다.

앱을 만들며 사소한 버그를 고치느라 우선순위를 놓쳤던 게 기억이 났기 때문입니다.

미미하더라도 사용자 경험에 영향을 주는 일이기에 해야겠다고 생각했었습니다.

그러나 그 일은 가설 검증을 위해 ‘꼭 해야 하는 일’이 아닌, ‘하면 좋은 일’이었던 것이죠.

따라서 유효한 학습을 위해 ‘꼭 해야 하는 일’과 ‘하면 좋은 일’을 구분 지으려는 노력이 필요함을 느꼈습니다.

추상적으로 들리는데, 이해를 돕도록 예를 들어 보겠습니다.

  1. 목소리 녹음하기
  2. 목소리 듣기
  3. 로그인/회원가입
  4. 설정 페이지
  5. 토스트 메시지 위치 조정
  6. 스켈레톤 UI 추가
  7. 키보드에 입력창이 가려지는 버그 수정
  8. …

하면 좋을 건 엄청 많은데, 우선순위를 어디까지 잘라야 될까요?

실험하고 싶은 가설에 따라 달라집니다.

예를 들어 내일모래의 핵심 기능인 1) 목소리 녹음하기, 2) 목소리 듣기만으로 리텐션이 생기는지 보고 싶습니다.

그럼 ‘꼭 해야 하는 일’과 ‘하면 좋은 일’은 무엇이 될까요?

만약 우선순위 구분 없이 생각하면, 가설 검증에 비교적 우선순위가 낮은 ‘키보드에 입력창이 가려지는 버그 수정’ 일에 과도한 시간을 투자하게 될 수도 있습니다. 이는 곧 리소스 낭비로 이어질 수 있습니다.

이렇게 실험을 계속 하다 보면 가설이 바뀌고, 가설이 바뀌면 ‘꼭 해야 하는 일’과 ‘하면 좋은 일’ 또한 바뀔 것입니다. 예를 들어, 만약 핵심 가설이 검증됐다고 해봅시다. 이후에는 사용자 경험을 최적화하고자 합니다. 그럼 우선순위 아래에 있던 스켈레톤 UI를 추가하는 일이 ‘꼭 해야 하는 일’로 승급하게 되는 것이죠.

가설 검증을 위해 꼭 해야 하는 일인지 아닌지 여부를 판단함으로써 우선순위 구분의 기준을 세울 수 있습니다. 이는 낭비 없는 유효한 학습을 하는 데 도움이 되는 틀이 되어줄 것입니다.

마치며

이번 계기로 데이터 기반 실험을 통해 배우는 방식을 경험해볼 수 있었습니다.

특히 1) 가치와 성장(유치와 유지)을 동시에 잡아야 하는 제품의 기본 체력과, 2) 낭비를 줄이기 위한 우선순위 구분에 대해 배웠습니다.

유지가 안 되는 결과가 나온 이후에는 유저 이탈 원인을 파악하고자 설문조사와 인터뷰를 진행했습니다. 현재는 얻은 인사이트를 바탕으로 서비스 개선 방향을 고민 중에 있습니다.

앞으로 더 많은 사용자에게 전달되는 서비스를 만들기 위해 노력하고자 합니다.

피드백이나 의견은 언제나 환영합니다!

Comments