응답률 0%의 진짜 이유: 모아노벨 알파 테스트 비하인드
새로운 서비스를 세상에 내놓기 전, 메이커가 가장 긴장하는 순간은 언제일까요? 아마도 첫 사용자의 반응을 기다리는 그 짧은 시간일 겁니다.
웹소설 에디터 '모아노벨'의 1차 알파 테스트를 시작하며, 저희 역시 설레는 마음으로 13명의 초기 테스터분들께 안내 메일을 발송했습니다. 시스템 테스트부터 온보딩 화면까지 꼼꼼하게 점검했기에 피드백이 쏟아질 거라 기대했죠.
하지만 현실은 차가웠습니다. 발송 후 하루, 이틀이 지나도 응답률은 저희의 기대치에 한참 못 미쳤습니다.
"우리 기획이 매력이 없나?"
낮은 참여율 데이터를 마주했을 때, 기획자로서 가장 먼저 드는 생각은 **'자책'**이었습니다.
- '알파 테스트 참여 프로세스가 너무 복잡했나?'
- '우리가 제안한 에디터의 핵심 가치가 작가님들에게 와닿지 않았나?'
- '결국 이 제품은 시장에서 필요로 하지 않는 건가?'
제품의 기능적 결함이나 기획의 매력 부족으로 원인을 1차 판단했습니다. 팀 내부의 분위기도 무거워졌죠. 수개월을 준비한 프로젝트가 시작부터 삐걱거리는 느낌이었습니다. 어떻게든 해결책을 찾아야 했습니다.
반전: 범인은 우리 코드가 아니었다
원인을 찾기 위해 테스터분들의 로그 데이터를 분석하던 중 이상한 점을 발견했습니다. 제품을 쓰다가 이탈한 것이 아니라, 아예 제품에 접속조차 하지 않은 비율이 압도적이었던 겁니다.
"혹시 메일을 못 받으신 건 아닐까?"
조심스럽게 한 테스터분께 개인적인 연락을 취해 상황을 여쭤보았습니다. 그리고 돌아온 대답은 우리의 예상을 완전히 빗나갔습니다.
"안내 메일이 안 왔는데요? 아... 확인해 보니 스팸함에 들어가 있네요."
문제의 실체는 기획이나 제품의 매력이 아니라, 아주 기술적이고 원초적인 '이메일 도달률(Deliverability)' 이슈였습니다.
대형 포털(네이버, 다음 등)의 스팸 필터링 정책은 갈수록 엄격해지고 있습니다. 이제 막 도메인을 생성하고 대량 메일 발송 이력이 없는 스타트업의 안내 메일은, 내용이 아무리 정성스러워도 시스템에 의해 기계적으로 스팸 처리될 확률이 높았던 것입니다.
확장 불가능한 일(Do things that don't scale)을 하다
원인을 파악한 즉시, 우리는 대응 전략을 전면 수정했습니다.
단순히 메일 서버의 발신자 신뢰도(Sender Reputation) 설정을 튜닝하는 기술적 조치에만 머물 수 없었습니다. 당장 테스트에 참여해야 할 분들의 소중한 시간을 헛되이 쓸 수는 없었으니까요.
우리는 시스템의 '자동 발송'에만 의존하던 기존 방식을 버리고, 수동 대응을 병행하기로 결정했습니다.
- 2차 설문을 발송하는 시점에, 기존 1차 안내 내용을 모두 통합하여 재발송했습니다.
- 자동 메일이 전송된 후, 개별적인 컨택 포인트를 통해 메일 발송 사실을 별도로 안내하여 정보 누락을 방지했습니다.
Y Combinator의 창업자 폴 그레이엄이 한 유명한 조언이 있습니다. "초기 스타트업은 확장 불가능한 일을 기꺼이 해야 한다(Do things that don't scale)."
13명이라는 적은 수의 테스터였기에 가능한 일이었지만, 이 수작업은 초기 가설을 검증할 데이터의 신뢰성을 확보하는 데 결정적인 역할을 했습니다. 만약 '스팸 필터링'이라는 기술적 장애물을 인지하지 못한 채 낮은 응답률을 제품의 실패로 단정 지었다면, 우리는 완전히 잘못된 방향으로 피봇(Pivot)을 결정했을지도 모릅니다.
기획의 범위: 코드 너머 유저의 화면까지
이번 사건은 서비스 기획의 진짜 범위가 어디까지인지 다시 돌아보는 계기가 되었습니다.
우리는 종종 '좋은 제품'을 '버그 없는 깔끔한 코드와 직관적인 UI/UX'로 한정 짓곤 합니다. 하지만 유저가 그 UI/UX를 마주하기 위해서는 메시지가 전달되는 '통로(Channel)'를 무사히 통과해야 합니다. 아무리 훌륭한 레스토랑이라도 입구를 찾지 못하거나 초대장이 휴지통에 버려졌다면, 그 맛을 평가받을 기회조차 얻을 수 없는 법이니까요.
초기 단계의 서비스일수록 '기획'은 시스템 구축을 넘어, 사용자와 서비스가 닿는 마지막 1마일(접점)의 운영적 리스크 관리까지 반드시 포함해야 한다는 뼈아픈 인사이트를 얻었습니다.
맺음말: 만드는 것에서 끝내지 않겠습니다
자동 메일이 스팸함으로 직행했던 이번 아찔한 경험은 강강박스에게 중요한 교훈을 남겼습니다.
우리는 이제 시스템이 '발송 완료(Success)' 로그를 찍었다고 해서 안심하지 않습니다. 그 메시지가 유저의 화면에 온전히 도달했는지, 유저가 그 메시지를 바탕으로 어떤 다음 행동을 취했는지 끝까지 끈질기게 추적하고 확인합니다.
강강박스는 앞으로도 제품을 그저 '만드는 것'에 그치지 않겠습니다. 기술의 사각지대에서 발생하는 운영적 리스크를 집요하게 파고들고, 유저와의 접점을 밀도 있게 챙기는 책임감 있는 메이커로 성장해 나가겠습니다.
모아노벨의 정식 런칭까지, 이 치열한 고민과 배움의 과정은 계속될 것입니다.
