洞察只是假設。我把第 7 篇的發現寫成兩份驗證草案:底妝以「14 天內完成有效諮詢的比例」為主指標,保養以「3 題辨識題全對的比例」為主指標。兩份都尚未執行,所以文中沒有任何成效數字。
商業問題
讀完社群文章後,團隊很容易直接做結論:「顧客不懂產品角色,那就做說明頁」「試用不足,那就發諮詢邀請」。但這些只是從 24 篇文章長出來的假設,既不知道有多少顧客真的有這個問題,也不知道做了有沒有用。
要做決定的人(產品、會員、客服主管)需要的是:花多少力氣、看什麼指標、什麼結果代表做下去、什麼結果代表停下來。這些得在實驗開始前寫好,否則結果出來後,任何數字都能被解讀成成功。
資料與方法
這篇不分析新資料,示範的是設計方法。每份草案都包含六個元素:
- 假設:一句話說清楚誰在什麼條件下會有什麼不同。
- 對象與隨機單位:誰能參加,以什麼為單位分派(避免同一人跨組)。
- 對照條件:除了要測的因子,其他全部相同(產品、優惠、聯絡頻率)。
- 主指標:分子分母都事前定義,「有效」要定義成完成服務,不是點擊。
- 護欄指標:防止為了拉高主指標而傷害其他事情。
- 決策規則:成功、失敗、不確定時各自怎麼做。
兩份草案的比較:
| 項目 | 底妝:試用後情境觀察加諮詢 | 保養:產品角色說明頁 |
|---|---|---|
| 假設 | 已領試用品、未購買者,收到情境觀察與諮詢邀請,比一般提醒更常完成有效諮詢 | 加入品類角色與版本差異的說明頁,比現有商品頁更能讓訪客正確辨識品類與版本 |
| 隨機單位 | 顧客 | 訪客 |
| 主指標 | 14 天內完成有效諮詢人數 ÷ 全部隨機分派的合格顧客 | 3 題辨識題全對人數 ÷ 全部隨機分派的合格訪客 |
| 次指標 | 30 天購買比例組間差(需合規串接交易資料) | 完成時間、錯誤理解;購買僅在另取得交易資料後作次指標 |
| 護欄 | 退訂與投訴、每位完成諮詢的服務成本、退貨 | 需人工協助的情形;需專業判斷卻被導向自行搭配的情形 |
兩個細節值得強調。第一,分母是全部被隨機分派的人。未作答的人留在分母,另報作答率,否則只看答完題的人,會把「頁面讓人看不懂就離開」誤算成高正確率。第二,保養草案把用藥、處置後照護與不適求助另行分流,不用促購頁面承接。
發現
這個設計過程給了我三個可複用的做法。
1. 主指標要貼近商業目的,但要足夠快。 購買才是最終目標,可是購買要另外取得交易資料,週期也長。所以底妝把「完成有效諮詢」當主指標、購買放次指標;保養把「正確辨識」當主指標,購買完全不當主指標,避免為了提高購買件數而犧牲資訊品質。
2. 護欄指標回答「如果成功了,代價是什麼」。 諮詢完成率上升,但退訂變多、服務成本暴增,就不是成功。護欄要在事前寫好門檻的判讀方式,不是事後挑。
3. 樣本數不能從 24 篇文章推出來。 估算樣本數需要三件事:基準率、最小值得偵測的差異、可用人數。以兩組比例比較為例,每組所需人數大致是:
n ≈ (z_α/2 + z_β)² × [p1(1−p1) + p2(1−p2)] ÷ (p1 − p2)²
其中 p1 是對照組基準率,p2 是希望能偵測到的實驗組比例。目前我沒有任何基準率:沒有一般提醒下的 14 天諮詢完成率,也沒有現有頁面的辨識題全對率。所以我不寫樣本數。第一步是先取得基準,或先用小規模可用性測試確認題目與頁面看得懂,再依流量決定要不要做隨機試驗。

商業建議
- 先跑小規模可用性測試,再做隨機試驗。 由產品與內容負責人先核實頁面內容,測題目是否清楚;這階段只找卡點,不估效果。
- 先補基準資料。 資料團隊盤點現有的諮詢完成率或辨識正確率,才能用上面的公式規劃樣本;如果取不到,就把第一輪定位為基準測量。
- 事前把決策規則寫進文件並由相關主管簽認。 例如:主指標改善且護欄未惡化,才擴大;諮詢增加但購買未改善,回查價格、通路與適配;行為樣本不足,只宣稱流程可用,不宣稱業績。
- 成功後再問下一個問題:說明頁是否減少重複詢問,或支持更適當的購買。
限制與下一步
- 兩份草案都沒有執行,沒有任何成效數字,也沒有確定的樣本數與期程。(底妝的期程只有 14 天主指標與 30 天次指標的時間窗,且時間窗需依實際購買週期確認。)
- 草案的來源是 AI 輔助讀文的 24 篇,未經人工覆核,只能形成假設,不能證明需求規模。
- 自願參加者可能與一般顧客不同,結果的外推要小心。
- 「全對」是嚴格的標準,也許太嚴;題目難度要在可用性測試中校準。
- 即使隨機分派,也要預先處理多重比較與中途偷看結果的問題,避免提早停止。
這篇展現的能力
- 把模糊洞察轉成可檢驗的假設:寫出誰、在什麼條件、與誰比較、看哪個指標。
- 指標與護欄設計:分子分母明確,區分主指標、次指標與護欄,避免只優化單一數字。
- 樣本數規劃的基本功:知道需要基準率與最小可偵測差異,不在缺資料時捏造數字。
- 事前決策規則:在結果出來之前就說好各種結果的行動,降低事後詮釋的空間。