유입월 코호트로 본 퍼널 진단

월별 퍼널 서머리

유입 → 수강시작 → 수강완료 → 시험신청 → 응시 → 합격 → 코드발급. 유입일자가 유효한 31,586건 기준입니다.

월별 퍼널 — 유입월 코호트 기준

각 행은 그 달에 유입된 사람들의 최종 도달 실적입니다. 평균 소요일은 그 코호트에서 코드를 발급받은 사람들의 유입→코드발급 기준입니다. 점선 왼쪽까지가 코호트 기준이고, 맨 오른쪽 회색 열만 발급월 기준(그 달에 실제 발급된 건수)이라 다른 열과 분모·분자가 다릅니다 — 비교 참고용입니다.

유입 수 vs 코드발급

회색 막대 = 그 달 유입 수(왼쪽 축), 파란 선 = 그 코호트의 코드발급 건수(오른쪽 축). 라벨에 건수와 유입 대비 발급율을 함께 표기했습니다 — 26/06은 유입이 6,374명으로 최대였는데 발급은 75건으로, 물량이 늘어도 발급 건수는 늘지 않았습니다. 26/07·08의 낮은 값은 아직 소요일이 경과하지 않은 탓입니다(5번 섹션).

유입 수 vs 코드발급 — 토스·당근 리드폼 제외 기준

같은 그래프를 리드폼 유입을 뺀 모수로 다시 그린 것입니다. 리드폼을 빼면 26/06 유입이 6,374명 → 3,483명으로 줄고, 발급율은 1.18% → 1.81%로 올라갑니다. 즉 전체 기준 급락의 상당 부분이 리드폼 물량이 분모에 들어온 결과입니다. 다만 26/01~05의 2.6~4.4% 수준과 비교하면 26/06 이후는 여전히 낮습니다.

단계별 통과율 추이

수강시작 → 수강완료 → 시험응시 → 시험합격 → 코드발급까지 모두 그 달 유입 수를 분모로 계산했습니다. 다섯 단계가 26/06부터 함께 내려갑니다. 26/07 이후 뒷단(시험·코드)은 아직 소요일이 경과하지 않아 낮게 나옵니다. 정확한 값은 아래 표에 있습니다.

단계별 통과율 추이 — 토스·당근 리드폼 제외 기준

같은 5단계를 리드폼 제외 모수로 다시 계산했습니다. 26/06 수강시작율이 10.60% → 14.10%로 올라가지만, 26/05의 23.90%에 비하면 여전히 큰 하락입니다 — 리드폼만으로는 설명되지 않는 저하가 남아 있습니다(아래 원인 분해 참조).

단계별 평균 소요일 — 유입일 기준

유입부터 각 단계까지 평균 며칠 걸렸는지. 최근 코호트는 오래 걸리는 사람이 아직 집계에 들어오지 않아 짧게 나옵니다(5번 섹션).

코호트 삼각표 — 월별 코드등록수

행 = 유입월 코호트, 열 = 실제 연월. 셀 = 그 달에 등록된 건수, 괄호는 그 코호트 총 등록수 대비 비중(행 방향 합계 100%). 오른쪽 열은 코호트 총 등록수와 유입 대비 전환율, 맨 아래 행은 그 달 총 등록 건수. 빈 칸은 유입 이전 달, 점선 테두리는 26/09 진행 중(기준일 09/10). 25/11~12 유입 5명은 표본이 작아 제외했습니다. UTM Source 버튼으로 경로별로 나눠 볼 수 있습니다.

코호트 삼각표 — 월별 시험신청수

코드등록의 앞 단계. 코드등록보다 한 달 정도 앞서 움직입니다.

소요기간이 길어지면 전환율이 떨어지는가

유입→MOVE ID, 유입→시험신청 소요일별로 이후 단계 도달률을 비교했습니다. 토스·당근 리드폼은 소요일이 인위적으로 고정되므로 전 구간에서 제외했습니다.

유입→MOVE ID 소요일별 도달률 — 26/01~05 코호트

네 단계 모두 소요일이 길어질수록 낮아집니다. 수강시작은 0~3일 구간에서는 거의 평평하다가 8일을 넘으면 61.4% → 45.6%로 꺾입니다. 코드발급률은 9.13% → 5.21%로 단조 감소합니다.

회색 비중 열은 참고용으로, MOVE ID 부여자 6,030명이 소요일 구간에 어떻게 분포하는지를 보여줍니다 — 0~1일 38.7% · 4일 이상 33.8%로, 3분의 1이 4일 넘게 기다립니다. 왼쪽 4열은 MOVE ID 부여자 전체를 분모로 한 누적 도달률, 오른쪽 3열은 직전 단계 통과자를 분모로 한 단계 전환율입니다. 맨 아래 회색 행은 0~1일군과 4일+군의 두 비율 차이 검정값(z)이며, 절댓값 1.96 이상이면 통계적으로 유의합니다.

초기 단계만의 문제인가 — 빠른군 vs 느린군 단계별 통과율

유입→MOVE ID가 0~1일이었던 2,333명(빠른군)과 4일 이상 걸린 2,038명(느린군)을 네 단계에서 각각 비교했습니다. 막대 한 쌍씩만 비교하시면 됩니다 — 쌍끼리는 분모가 같지만, 쌍이 다르면 분모도 다릅니다(수강완료율은 수강시작자 중, 시험신청율은 수강완료자 중, 코드발급률은 시험신청자 중). 네 쌍 모두 검정색(빠른군)이 높습니다.

중반 리드타임 — 유입→시험신청 소요일별

시험신청까지 간 843명만 보고, 유입부터 시험신청까지 며칠 걸렸는지로 나눴습니다. 앞단을 이미 통과한 집단인데도 21일 이내 57.6% vs 46일 이상 32.3%로 코드발급률이 절반 이하로 떨어집니다. 초기 대기와 무관한, 중반 구간의 독립적인 리드타임 효과입니다.

회색 비중 열은 참고용으로, 시험신청자 843명의 소요일 분포입니다 — 21일 이내 35.8%, 46일 이상 41.5%로 양극단에 몰려 있습니다.

참고 · 26/06~08 코호트에서도 같은 방향입니다 — ~14일 43.6% / 46일+ 9.5%(시험신청 301명, z=+4.16). 다만 표본이 작고 소요일이 덜 경과한 상태입니다.

평균의 오류 검증 — 채널별·월별로 쪼개도 같은 방향인가

전체 평균에서 보이는 관계가 하위 집단으로 쪼개면 사라지거나 뒤집히는 경우가 있습니다. 여기서 의심할 지점은 두 개였습니다 — ① 원래 전환이 좋은 채널이 부여도 빨랐을 뿐이라면 소요일은 채널의 대리 지표에 불과하고, ② 특정 월의 대량 유입이나 운영 사고가 전체 상관을 혼자 만들어냈을 수도 있습니다. 그래서 채널 안에서만, 월 안에서만 같은 비교를 반복했습니다. 9개 집단 전부에서 0~1일군이 4일+군보다 높습니다(부호검정 p≈0.002) — 채널 구성이나 특정 월로 설명되는 착시가 아닙니다.

UTM Source별 상세

유입경로 아래 세부 소스별 퍼널. 기간 버튼으로 전체·월별을 선택할 수 있습니다.

UTM Source별 퍼널

모든 실적은 유입월 코호트 기준입니다. 기간 버튼으로 전체 기간과 유입월별로 나눠 볼 수 있습니다 — 기본값은 전체 기간이고, 전체 탭은 유입 50명 이상, 월별 탭은 그 달 유입 30명 이상 소스만 표시합니다. 26/07 이후 월은 코드발급 소요일이 아직 경과하지 않아 코드발급율이 낮게 나옵니다(5번 섹션).

UTM Source별 유입→코드발급율

같은 축으로 보면 순서가 거의 뒤집힙니다. 파란 막대 = 2% 이상.

MOVE ID 부여 현황과 미부여 인원 관리

월별 부여 소요일수와, MOVE ID를 받지 못한 채 남은 유입 인원의 당월·누적 현황을 보고, 코드발급 전환율 데이터로 우선 컨택 대상 선정 기준을 제안했습니다.

월별 MOVE ID 부여 소요일수

검정 = 그 달 부여 건 전체의 평균 소요일수. 파랑·보라 = 그중 당월에 유입돼 당월에 부여된 건만의 평균·중위. 검정은 0.8일 → 15.7일로 오르는데 파랑은 2.7~3.0일, 보라는 2일에 붙어 있습니다. 신규 유입 처리 속도는 8개월간 변하지 않았고, 전체 평균이 오른 것은 오래된 유입자를 뒤늦게 처리한 건(26/08 기준 평균 64.3일)의 비중이 커졌기 때문입니다.

MOVE ID를 받지 못한 유입 인원 — 당월 발생분과 누적

회색 막대 = 그 달 유입자 중 지금까지 MOVE ID가 부여되지 않은 인원(왼쪽 축), 파란 선 = 그 누적(오른쪽 축). 당월 발생분은 월 1,617~2,682명 사이로 꾸준하고, 26/06 이후 미부여율이 62.4% → 76.9%로 뛴 것은 리드폼 외 구간에서도 리드 품질이 떨어진 시점과 겹칩니다.

미부여 16,642명은 어떤 상태인가

후보자 등록(S열)과 전자서명(T열) 진도로 나눈 것입니다. 15,190명(91.3%)이 후보자 등록조차 하지 않은 상태이고, 전자서명까지 마쳤는데 MOVE ID가 없는 사람은 252명뿐입니다. 파란 숫자가 유입 후 60일 이내 — 회수 우선 구간입니다.

진도 상태가 이후 성과를 거의 결정합니다

전자서명을 마친 사람은 96.9%가 이미 MOVE ID를 받았고, 그 사람들의 코드발급률은 8.66%입니다. 반면 등록·서명이 안 된 상태로 MOVE ID가 부여된 703명·139명에서는 코드발급이 단 한 건도 없습니다(95% 상한 0.54% · 2.69%). 즉 전자서명 완료가 코드로 가는 사실상의 관문입니다.

회수 가치는 60일에서 꺾입니다

늦게 부여된 사람이 그 뒤에 코드까지 갔는지를 소요일 구간별로 본 것입니다 — 묵은 리드를 건져낼 가치가 언제까지 유지되는지를 알려줍니다. 0~1일 9.13%가 최고지만 8~60일 구간도 4.98~8.40%로 유지되고, 61일을 넘으면 2.47%로 급락합니다(15~30일 구간이 낮은 것은 n=241의 표본 변동입니다).

동일 조건이면 어떤 세그먼트를 먼저 볼 것인가

회수 후 코드까지 갈 확률의 세그먼트 배수입니다. 경로·연령·직업 모두 최상위와 최하위가 5~11배 차이입니다.

26/08 유입은 분석에서 제외하는 것을 추천

코드발급 소요일수 누적분포로 각 유입월 코호트가 지금 몇 % 관측된 상태인지 계산했습니다.

코드발급 소요일수 누적분포 — 성숙 코호트(268건, 26/01~03 유입)

최종 코드발급자를 100%로 놓고, 유입 후 N일까지 몇 %가 발급을 마쳤는지. x축 눈금은 등간격이 아닙니다(15일 단위 → 120일 이후 30·45일 단위).

유입월별 관측 성숙도

각 유입자의 경과일수를 위 곡선에 대입해 평균한 값. 90% 이상이면 사실상 확정, 70% 미만이면 비교 대상에서 제외하는 것이 안전합니다.

연령대·직업별 전환

26/01~05 유입 코호트 기준.

연령대별 (26/01~05 유입 코호트)

직업별 (26/01~05 유입 코호트)

모의고사 통과 여부가 이후 단계를 가릅니다

퍼널 단계로 넣지 않고 인사이트로만 봤습니다. 수강을 완료한 1,921명을 모의고사 통과(1,407명)와 미통과(514명)로 나눠 이후 도달률을 비교했습니다. 네 단계 모두 격차가 압도적입니다 — 특히 코드발급률이 37.95% vs 1.56%로 24배입니다(z=+15.69).

모의고사를 통과할 정도면 시험 합격률이 높은가

앞의 비교는 "시험장까지 가는지"의 차이였으므로, 여기서는 이미 시험을 본 718명만 떼어내 모의고사 상태별 합격률을 봤습니다. 구분은 AE열 시험신청 자격 값을 씁니다. 모의고사를 통과한 군이 합격률 81.4%, 통과하지 않은 군이 54.2%로 z=+3.31 — 유의한 차이입니다.

정리

유입경로별 단계 도달 수

경로 구분 · Paid & Social · 그 외 채널로 나눠 각 단계 도달 인원을 집계했습니다.

A-1. 경로 구분별

A-2. Paid & Social — UTM Source별

원본 경로 구분 Paid & Owned(21,348명)에 속한 UTM Source 전체입니다.

A-3. 그 외 채널 — UTM Source별

리드폼 · 추천 · 경로 미기재(10,238명)에 속한 UTM Source 전체입니다.

[Appendix A-4] 수강 진도별 정체 인원 — 수강시작 O · 시험 미응시

수강을 시작했지만 아직 시험을 보지 않은 4,821명을 유입월 코호트별·진도별로 나눈 것입니다(AA열 수강현황 기준). 어느 강의에서 멈춰 있는지가 보입니다 — 0~1강에서 41.1%(1,982명)가 멈춰 있고, 반대편 끝에는 17강을 다 들었는데 시험을 안 본 1,216명이 있습니다. 중간 구간(8~16강)은 각 22~61명으로 얇습니다.