1.前言
12月份馬上就結束了,這也意味著這個雙月的體驗OKR也到了復盤的階段。想趁這個機會復盤一下自己這么久以來的體驗經歷,幫助我拓寬了設計職能的邊界,站在整個產品和業務的角度,思考當前產品遇到的問題和解決方案。
所以打算分幾篇文章輸出一些關于我在體驗中遇到的問題和解決方案,以及一些個人感悟。
之所以會先從問卷入手,一方面是因為我們在問卷的設計的過程中,很難找到全面分析問卷設計的文章。另一方面是因為理解用戶,才能理解體驗。真正好的體驗一定來自于用戶,且以幫助用戶解決問題為目的。
接下來,本文會通過大量問卷案例,把實際過程中的落地經驗分享給大家。
1.1 問卷的使用場景
問卷還是訪談?
在實際的工作中,常用的用戶調研方式有兩種:問卷調研和用戶訪談。
那么,我們這次體驗調研,為什么使用問卷調研而不是用戶訪談呢?
想要回答這個問題,可以從問卷和訪談的差異性上進行對比:
當一個問題沒有明確答案的時候,很適合做訪談,因為沒有確定的參考變量,不知道方向在哪,訪談可以幫助我們找到目標方向。甚至你的訪談對象可以不是產品用戶,但是他一定要有相同的產品需求。比如一個用戶沒有使用過微信,但是他有明確的社交需求,那么這個用戶就有被訪談的價值,因為他能夠幫助我們找到產品后續的迭代方向。
而問卷是基于現有數據,向用戶求證問題的過程。當公司產品經歷了冷啟動階段之后,后臺已經記錄了足夠的產品數據,這其中包括各功能的使用情況、用戶行為等,都為問卷設計提供了很好的參考變量。所以,這個時候調研對象控制在使用過我們產品的用戶,可以幫助我們快速定位問題。
當然,上述觀點并不絕對,根據公司業務、使用場景、成本預算等因素,問卷和調研一起使用的情況也是有的,所以找到適合自己公司的調研方式最重要。
補充:問卷是一種常用的定量分析工具,使用場景主要分為收集用戶數據和需求驗證:
收集用戶數據
收集用戶數據主要是為了判斷我們對用戶的的定位是否精準。具體表現為收集用戶的基本信息、和用戶的體驗反饋(吐槽、好評),主要作為了完善用戶畫像。
需求驗證
需求驗證主要是調研產品功能是否符合用戶預期,以及判斷現有功能是否有優化的價值和空間(判斷優化空間的依據主要以后臺數據為根本立足點)。
舉個例子:平臺上架了一個xx功能,新功能的觸達路徑從首頁到目標頁需要三步,通過后臺數據埋點的追蹤發現,在第二步的時候,觸達人數驟降。那么針對新功能的問卷重點之一,就會放在這個頁面觸達率為什么這么低上,以此尋找解決方案。
1.2 問卷的特點:
問卷調研屬于間接調查,即被調查者填寫問卷是在調查者不在場的情況下進行的,即調查者與被調查者一般不見面。
問卷的優點:
問卷的缺點:
1.3 問卷流程
在工作中,問卷的設計流程通常被分為四個階段:準備階段、設計階段、發放并回收階段,分析報告階段。
2. 問卷設計前
2.1 關鍵目的
確定問卷目的是為了聚焦問題的范圍和方向。
每一個產品調研問卷都應該圍繞著至少1-2個核心目標進行拆分,過多的核心目標會導致問題數量沒法控制和調研方向不清晰。
2.2 問卷說明
在向用戶提出問題之前,有個最重要也是最容易忽略的地方,就是問卷的說明部分,通常這些說明會包括以下內容:
2.3 確定問卷的目標用戶
用戶分群:
用戶分群其實就是通過權衡來讓調研目的和用戶的需求相匹配,忽略和調研目的不相關的用戶,從而更好的調研目標用戶的需求,本質是為了提升效率。
常用的用戶分群維度由時間、用戶行為和用戶屬性三個維度組合完成:
-
完成了登錄注冊的用戶
-
沒完成登錄注冊的用戶
-
完成了登錄注冊,并且點擊了首頁廣告位的用戶
下圖是我們用的用戶分群工具:
選擇的維度越多,用戶越精準
我們在進行用戶分群時,定位的精準程度,和維度的選擇數量是正相關的。時間范圍越窄,用戶行為越多,用戶屬性越多,定位到的用戶越精確。
舉個例子:“近7天使用xx功能的男性用戶”,一定比“近7天使用xx功能的用戶”更加精準,因為多了一個“性別”的維度。
當然,每一個產品的業務模式和用戶群體都是復雜的,根據商業模式、產品功能、用戶使用習慣和目的不同,這些因素都可能成為用戶細分的維度。
樣本數量
樣本的數量,主要取決于我們想要回收多少份有效問卷,也就是回收率。
所以,在回收率固定不變的情況下,樣本數量越大,問卷回收的數量越多,反之,樣本數量越小,問卷回收的數量越少。
影響樣本數量的因素
影響樣本數量的因素主要分為響應率和完成率:
舉個例子:平臺通過渠道向100人發放問卷,只有50人打開了問卷,那么調查的響應率為50 / 100 × 100% = 50%
舉個例子:有100人點開了問卷,最終有50個人填寫完成,那么完成率為50 / 100 × 100% = 50%
相同的調研樣本數量,用戶響應率和完成率越高,有效問卷的回收率也就越高。所以,除了增加樣本數量外,也可以通過提高用戶的響應率和完成率,來提高問卷的回收數量。
舉個例子:
-
擴大問卷的曝光量,從而觸達更多用戶,提高響應率。
-
豐富問卷獎勵,增加用戶的答題意愿,提高完成率。
樣本數量的邊際效益
問卷數量的價值是存在邊際效應的,因為隨著樣本數量的增多,回收的答案是趨于一致的,參考價值較低,所以問卷的樣本數量并不是越多越好。
通常為了保證最終的有效問卷回收能滿足研究報告,應該在理想的樣本數量上,進行適當的擴充。
舉個例子:通過觀察平臺用戶的響應率和完成度,估算出抽取1000數量的樣本數量能夠支撐最終的研究產出,但是考慮一些特殊情況的產生,此時會再加上200的樣本數量,來確保問卷的回收率。
3. 問題和答案的設計
3.1 MECE原則
MECE是一種將一個具體事物進行"拆分"的原則,該原則由麥肯錫顧問巴巴拉·明托(Barbara Minto)在《金字塔原理》一書中首次提出,隨即被奉為咨詢解決思路的圭臬。其目的在于分析問題時盡量做到對問題點進行不重疊且不遺漏的分類,而且能夠借此有效把握問題的核心,并成為有效解決問題的方法。
MECE原則可以分為兩個部分:
互斥性原則是指在問卷答案的設計中,同一問題的若干個答案之間關系時是互相排斥的,不能有重疊、交叉、包含等情況。
完備性原則是指在問卷答案的設計中,所排列出的答案應包含問題的全部情況,不能有遺漏。特別是針對封閉題而言的,必須做到窮盡。
MECE的步驟
了解完MECE原則后,接著從以下四個步驟來說一下它的實際用法:
步驟一:確定范圍
明確問題是什么,比如說我們當前產品的問題是:“為什么新用戶搭訕次數低?”,所以我們的問題就會聚焦在搭訕數低的原因上,這也是“完全窮盡”的基礎,只有當問題有了邊界,才能窮盡。
步驟二:尋找切入點
切入點指的是按什么方向進行拆分,還是以“為什么新用戶搭訕次數低?”這個問題來舉例,我們從搭訕數低的原因出發,選擇的切入點是“角色”。即:在整個業務中,會涉及到的“用戶方”和“產品方”兩個角色:
步驟三:繼續細分
考慮當前問題是否可以繼續細分,比如說用戶方可以分為男性和女性,但是這對搭訕數并沒有直接的影響,可能還要繼續細分為年齡、地區、職業等屬性,直到找到影響“搭訕”的因素。
步驟四:檢查確認
細分完成之后,對問題進行檢查,看看是否有明顯遺漏或者重復的問題。
怎么檢查提出的問題是否已經滿足相互獨立和完全窮盡呢?這里提供以下兩個方法:
*注:MECE原則同時適用于問題和答案的設計。
MECE原則的拆分方法
MECE的拆分方法具體分為以下五種:
二分法
二分法指的是把信息分成A和非A的兩個部分,也就是說在找出事物的某一維度后,繼續找出一個相反的維度,通俗來說就是找出他的反義詞。常見的例子在我們生活中隨處可見,比如說:未婚和已婚、成年和未成年、黑和白、上和下等等。
象限法
找到一個事物的兩個維度,進行坐標系劃分,變成4個象限。
比如我們一次性接到了很多迭代的設計需求,可以根據任務的重要性和緊急程度兩個維度,確定所有迭代需求的優先級。
要素法
要素法是根據一個事物的做成要素行劃分的。比如說我們作為設計師,都知道體驗很重要,但是什么樣的體驗才能被稱之為好呢?于是很多公司會制定自己的體驗度量標準,比如Ant rDesign的PTECH模型,就把體驗拆分成了性能體驗、任務完成度、參與度、清晰度和滿意度。
*題外話補充:
HEART模型更多是用來度量C端產品的體驗,并不太適用于B端產品。B端產品多是提高效率的工具類產品,業務比較復雜且用戶需要付費才能使用,比較注重任務的完成效率和邏輯的清晰度。
公式法
按照現有公式中的要素進行去分類,比如說銷售額 = 銷售量 x 價格,CTR = 點擊數 / 曝光數(根據不同業務和場景會有細微差異)。
這種時候,我們就可以把銷售額拆分為銷售量和價格,CTR拆分為點擊數和曝光數。
流程法
流程法指的是把一個事物,按照進行的流程進行劃分。拿我自己的上班日常來舉例:8個活動組成一個流程。
3.2 問題設計
問題的四種形式
在提出的每個問題下面給出若干個答案,讓被調查者選出其中的一個或若干個問題來回答的問卷形式。封閉式問題的優勢在于,用戶在看到問題和答案的時候,很快就能理解提問者的目的。
a. 是非型:有且只有兩個備選答案,受訪者只能從中選擇一個答案。
b. 并列型:提供兩個及以上的并列答案,讓用戶在其中選擇最適合自己的答案。
c. 等級型:對兩個及以上分成等級的答案進行選擇的題型,只能從中選擇一個答案。
d. 排序型:讓用戶從備選答案中選出全部或者部分答案,根據用戶選擇順序對答案進行排列的一種方式。
開放式問卷是問卷設計者提供問題,由被調查者自行構思自由發揮,從而按自己意愿答出問題的問答題型為主,也就是我們常說的填空題。
開放式的優勢是經常會收集到一些意料之外的信息,且都是用戶直觀的感受。但正是由于它的開放性,會導致問題的答案很不規范,經常會出現用戶的回答和問題不相符的情況。這類不規范的回答無法使用數據分析方法,嚴重影響最后的分析效率。
比如說我們本次的問卷目標是調研影響用戶搭訕率和回復率的因素,其中有道填空題:
問題:您在搭訕聊天的過程中,有什么不滿意的地方?或有什么建議?
回答:不太清楚、不知道等詞語。
問題產生的依據
*問題的產生要有理有據。
我們本次調研的目的,主要是為了幫助用戶解決問題,所以在問卷的設計過程中,要問自己兩個問題:
-
找到用戶遇到了哪些問題?
-
造成用戶遇到這些問題的原因有哪些?
步驟一:通過用戶使用路徑差異,定位問題
通過對比路徑和數據漏斗,發現并記錄用戶在使用過程中遇到的問題。
如下圖,是一個簡化的用戶路徑和漏斗數據,主要分析的是“首頁 - 發送消息”這條核心路徑,可以發現:用戶流失最大的地方在“查看用戶資料 - 進入IM頁”這一階段。
當定位問題后,還需要通過福格模型來擬定問題和答案。
步驟二:通過福格模型,分析影響因素
福格模型認為,行為的發生,有 3 個關鍵的要素,并且需要 3 個要素同時發生才能產生作用,也就是動機、能力和提示:
-
動機:做出行為的欲望。
-
能力:去做某個行為的能力。
*之前的版本為 B=MAT,其中 T 是 trigger 觸發的意思,后續迭代成 B=MAP,P 是 Prompt 提示的意思,但是提示和觸發的差異并不大,不必糾結。
當我們利用福格模型去分析“查看用戶資料 - 進入IM頁”的流失問題時,就變成了:
針對MAP這三個因素,預測用戶在各個使用場景會遇到的困難,總結成問卷,向用戶求證。
問題篩選
我們通過上述方法設計出很多的問題后,時常會出現問題很多,“我全都要”的情況。
步驟一:通過屬性,對問題進行歸類
這里提供給大家一個思路:根據屬性不同,對所有問題進行歸類。當然,有時候會遇到這樣的情況:有一些問題沒有明確的屬性進行定義,但是又很重要,這種問題可以統一概括為其他。
步驟二:問題篩選
歸類完成后,從每一個屬性中,選出固定數量的問題整合成問卷,篩選的標準以目標結果為導向,也就是每個問題和本次問卷目標的關聯性,關聯性強,則納入問卷,反之則剔除。
這樣做的好處是在最后的問卷結構上,可以把相同屬性的問題放在一起,保證上下問題的邏輯性和相關性,用戶作答時不顯得別扭。
3.3 問題數量
問題的數量沒有固定的要求,根據不同的業務、不同的問卷目的,問卷的數量都是不同的。
通常情況下,問卷中的問題越多,所得的數據就越詳細。但是問題越多,用戶的投入成本也就越高,這樣就會導致填寫意愿降低。
我們公司平時的問題數量,基本會控制在15個左右,為的是讓用戶能夠在半小時內填寫完畢。因為用戶填寫問卷的耐心和時間都是有限的,所以在問題的數量上,不宜過多。
提問技巧
由淺入深
提供場景預設,幫助用戶回憶
在設計問題時,避免回憶性問題,特別是長時間以前的回憶,記憶的模糊會降低答題的準確率。
因為人的記憶是呈碎片化存儲在大腦里的,直接問用戶是很難被搜索到的。但是,在實際調研中,經常會出現不得不讓用戶回憶的情況,針對這種場景,需要在問題當中構建出一個具象的場景,這里的場景可以是時間、地點或者產品功能等,能夠幫助用戶串聯起回憶的都可以。
舉個例子:比如我現在想調研用戶使用發布模塊的情況,那么在問題設計時,就會圍繞發布相關的場景進行提問。
保持客觀,避免導向型問題
如果問題中帶有偏向性的語境,這樣就可能引發“誘導”,會導致用戶選擇問題“暗示”的答案。
舉個例子:
避免范圍很大的問題
如下圖,單看修改前的問題是沒什么對錯的,但聊天只是我們產品的功能之一,它由1v1聊天、群組聊天等多個功能組成。這樣就會造成用戶回答的內容很寬泛,很難提取出有價值的信息。所以在問題的修改上,我們需要更加具體的指向性內容。
避免一個問句,兩個問題
一個問句中,出現兩個及以上的問題。這個很簡單,我們直接用上面學到的MECE原則進行拆分就可以了,直接分成兩個問題提問。
避免術語、黑話
在設計問題時要避免使用專業性術語,通俗易懂的語言容易被不同畫像的用戶理解,避免誤會而引起的問答偏差。有些用戶可能因為不知道“算法”的具體意思,導致問卷無法進行。
避免雙重否定句式
雙重否定就是否定兩次,即表示肯定的意思,如:不得不。這種句式的問題,用戶通常不能一下子就讀懂句子的意思,增加答題成本。
敏感問題
不直接詢問用戶對某事的觀點,而是把問題轉移到其他人身上,然后,請用戶以第三人稱的視角,對他人的回答作出評價,更能得到用戶真實的想法。
首先假設某一情景或現象的存在,然后再詢問用戶的看法。
3.4 答案設計
答案設計的注意事項
答案的設計最后會影響數據的有效性,所以在設計上需要注意以下三點事項:
3.5 問卷評審
內審和外審
在內部評審之前,首先要自審一遍,這就要求我們在設計問卷后,最好是站在問卷回答者的角度,試著自己做一遍問卷,避免出現一些比較常規性質的問題,比如問卷的邏輯性、用詞的通俗性、語意的表達等。
問卷自審后沒什么問題后,可以邀請項目組的人進行內審,最好可以拉上開發、產品一起,提供多角度的思考方向。
4. 問卷發放
問卷發放主要從時間、地點、人物三個維度出發。
4.1 時間:
在問卷的發放和回收時間之間,需要考慮用戶看到問卷的時間和答題時間。
根據問卷的曝光程度,留有足夠的時間讓用戶能夠看到并點擊問卷,如果發放和回收中間留的時間過短,會造成用戶可能沒看到問卷,或正在答題中,就已經開始回收了。這種情況會導致用戶在沒有完整閱讀題目或者充分思考的情況下,隨便作答,無法獲取足夠的樣本數據和用戶的真實想法。
當然,發放和回收中間留的時間也不宜過長,時間越長,用戶忘記調研問卷這回事的概率也就越大。
4.2 地點(投放方式):
投放渠道,由于我們的體驗工作一般圍繞APP進行,所以我們的渠道主要分為以下幾種:
優點:可實現精準投放
缺點:受限于設備的消息開關,打擾性強
優點:由于是用戶主動點擊進行,所以有效性較高
缺點:廣告位多為全量投放,無法保證用戶參與度
4.3 人物:
用戶和問卷的匹配關系:問卷的調研對象必須是我們的用戶。也就是說,如果投放的用戶和問卷不匹配,那么最后得到的數據是沒有意義。
并且在分發方式上,還會根據規模分為部分和全量。部分就是針對用戶分群后的具體用戶,有選擇性的進行問卷發放。全量則是針對平臺所有用戶的問卷,這種由于平臺的用戶類型很多,資源浪費等問題,基本不太用。
5. 問卷整理:數據清洗
5.1 有效問卷的數量影響最后分析的準確性
在前文關于問卷的特點中我們提到,用戶回答問題的場景是不可控的,可能會出現瞎填的情況,如果我們回收問卷后立馬進行分析,會混入一些無效數據,大大降低我們調研結果的可靠性。
所以,在正式進行數據分析之前,還有一個問卷篩選的環節,以此保證數據的有效性,專業名稱叫做數據清洗。
5.2 篩選無效問卷的標準
既然涉及數據清洗,那么就一定會有一套標準去判斷哪些數據是可以“被清洗”的,所以我們這里總結了以下幾個標準供大家參考:
檢查答案是否出現保持一致,或呈現某種規律的情況,出現的問卷進行刪除。
舉個例子:所有的答案都是“A-A-A-A”或”A-B-A-B”
嚴格來說應該將漏填的答卷全都進行剔除,但有時候會遇到回收樣本量很少的情況,所以一般會設置漏答數的標準。
常用的標準是總題數的2/3,例如問卷一共設計了 10 個問題,回答了 6 個以上的用戶即視為有效問卷,反之,則視為無效問卷。
有些用戶受主客觀因素影響,可能不會認真選答案,所以需要檢查前后的選項是否矛盾。
在問題的設計中,經常會出現多個問題之間保持邏輯關系,如果用戶選擇了前一題“A”,則不應該選擇后一道題的“B”。
舉個例子:用戶在前一題中選擇了“從未搭訕過”,后面卻又選擇了“搭訕后沒有人回復“,這種就可以視為前后邏輯不符的答卷。
如果問卷中實在找不出可以用來表示邏輯關系的問題,那么也可以設置一個明顯錯誤的答案,最后統計問卷數據時,剔除該問卷即可。
當然問題的迷惑性不能太強,我們只是想要檢驗用戶是否在認真答題,而不是為難用戶,所以認真閱讀問題和答案就不會出錯。
舉個例子:第1題問:「請問您使用過語音功能嗎?若沒有,請忽略第 2 題」,如果用戶第1題選沒有的,卻仍回答了第2題,那么就可以把該問卷視為無效。
在發放問卷前,我們會進行答題測試,目的是估算出答題所需要的總時長,以此作為問卷答題時長的有效性依據,如果最后回收的問卷答題時間比預估時間過長或過短,就可以判斷為答題不認真,都可以根據業務需求酌情剔除。
提交時間主要針對的是在規定時間內完成答題,但超過了提交時間的用戶。比如說我們回收問卷的截止時間是12月7日,但是有的用戶是在12月8日完成答題并提交的,也會被視為無效問卷。(市面上有些問卷工具,可以回收設置時間,超過規定時間提交的問卷不計入問卷回收。)
6. 分析報告
統計各選項的數量、頻率是最常用到的分析方法,然后通過圖表展現出來,可以非常直觀的看出整體分布情況。具體可以分為趨勢分析和分組分析兩種方法。
6.1 分類篩選
顧名思義,分類篩選是根據類別來進行數據篩選的一種方法,常用的類別有:
-
來源詳情:如鏈接地址、郵件地址、手機、PC等。
-
地區:省份、城市
舉個例子:如下圖,選擇的篩選條件是問題回答+提交日期。最終選擇的類別為:年齡在21-30歲之間的用戶,且2021/12/23之前提交問卷的用戶,最后得到的有效答卷是 44 份,這就說明滿足該篩選條件的用戶有44人。
此時,系統會把這44個人回答的其他問題也全部篩選出來,如下圖:
44個人當中,有7個人搭訕過 1 次,9個人搭訕過 2-5 次,4個人搭訕過6-10次,5個人搭訕過 10 次以上,剩下19個人從未搭訕過。
6.2 交叉分析
除了分類統計,我們還可以通過交叉法,進行差異分析,找出影響因素。
交叉分析法通常用于分析兩個及以上的變量關系,即同時將有一定聯系的變量及其值交叉排列在一張表格內,形成交叉表,從而分析交叉表中變量之間的關系。
聽上去有一些麻煩,但是現在的很多問卷平臺都會提供交叉分析的功能,下面會以問卷星為例,簡單的了解一下交叉分析的具體流程。
步驟一:點擊問卷后臺的統計頁面,選擇交叉分析,選擇自變量X和因變量Y,點擊交叉分析。
步驟二:得出“分析年齡和關注信息之間的關系”數據表現。
當數據都放在一起分析時,很難看出年齡和關注信息這一行為的關系,但使用交叉分析之后,可以聚焦每個年齡段對于關注點的偏好,針對性的給出優化方案。
-
20歲以下的用戶中,最關注的是顏值,占比為63.64%。
-
21-30歲的所有用戶中,最關注的是年齡,占比為67.86%。
-
31-40歲的所有用戶中,最關注城市,占比為76.92%。
-
其他年齡的信息偏好等等...
上述的兩種分析方法(分類篩選和交叉分析),都是我們常用且方便的分析方法。如果想要更加深入的進行調研總結,可以使用一些專業的分析軟件,例如使用SPSS軟件,或者導入Excel表格做數據的處理,這都是目前使用比較廣泛的一些分析工具。
*重要的不是分析工具,而是對數據的敏感程度和分析能力。
7. 寫在最后
至此,從問卷設計到最后的數據分析就講解完了。
問卷調研不是目的,目的是通過調研得出的結論,指導我們體驗的優化方向,問卷調研本身只是了解用戶的手段之一,重要的是在問卷設計過程中加深對手頭業務的理解。
1.前言
12月份馬上就結束了,這也意味著這個雙月的體驗OKR也到了復盤的階段。想趁這個機會復盤一下自己這么久以來的體驗經歷,幫助我拓寬了設計職能的邊界,站在整個產品和業務的角度,思考當前產品遇到的問題和解決方案。
所以打算分幾篇文章輸出一些關于我在體驗中遇到的問題和解決方案,以及一些個人感悟。
之所以會先從問卷入手,一方面是因為我們在問卷的設計的過程中,很難找到全面分析問卷設計的文章。另一方面是因為理解用戶,才能理解體驗。真正好的體驗一定來自于用戶,且以幫助用戶解決問題為目的。
接下來,本文會通過大量問卷案例,把實際過程中的落地經驗分享給大家。
1.1 問卷的使用場景
問卷還是訪談?
在實際的工作中,常用的用戶調研方式有兩種:問卷調研和用戶訪談。
那么,我們這次體驗調研,為什么使用問卷調研而不是用戶訪談呢?
想要回答這個問題,可以從問卷和訪談的差異性上進行對比:
當一個問題沒有明確答案的時候,很適合做訪談,因為沒有確定的參考變量,不知道方向在哪,訪談可以幫助我們找到目標方向。甚至你的訪談對象可以不是產品用戶,但是他一定要有相同的產品需求。比如一個用戶沒有使用過微信,但是他有明確的社交需求,那么這個用戶就有被訪談的價值,因為他能夠幫助我們找到產品后續的迭代方向。
而問卷是基于現有數據,向用戶求證問題的過程。當公司產品經歷了冷啟動階段之后,后臺已經記錄了足夠的產品數據,這其中包括各功能的使用情況、用戶行為等,都為問卷設計提供了很好的參考變量。所以,這個時候調研對象控制在使用過我們產品的用戶,可以幫助我們快速定位問題。
當然,上述觀點并不絕對,根據公司業務、使用場景、成本預算等因素,問卷和調研一起使用的情況也是有的,所以找到適合自己公司的調研方式最重要。
補充:問卷是一種常用的定量分析工具,使用場景主要分為收集用戶數據和需求驗證:
收集用戶數據
收集用戶數據主要是為了判斷我們對用戶的的定位是否精準。具體表現為收集用戶的基本信息、和用戶的體驗反饋(吐槽、好評),主要作為了完善用戶畫像。
需求驗證
需求驗證主要是調研產品功能是否符合用戶預期,以及判斷現有功能是否有優化的價值和空間(判斷優化空間的依據主要以后臺數據為根本立足點)。
舉個例子:平臺上架了一個xx功能,新功能的觸達路徑從首頁到目標頁需要三步,通過后臺數據埋點的追蹤發現,在第二步的時候,觸達人數驟降。那么針對新功能的問卷重點之一,就會放在這個頁面觸達率為什么這么低上,以此尋找解決方案。
1.2 問卷的特點:
問卷調研屬于間接調查,即被調查者填寫問卷是在調查者不在場的情況下進行的,即調查者與被調查者一般不見面。
問卷的優點:
問卷的缺點:
1.3 問卷流程
在工作中,問卷的設計流程通常被分為四個階段:準備階段、設計階段、發放并回收階段,分析報告階段。
2. 問卷設計前
2.1 關鍵目的
確定問卷目的是為了聚焦問題的范圍和方向。
每一個產品調研問卷都應該圍繞著至少1-2個核心目標進行拆分,過多的核心目標會導致問題數量沒法控制和調研方向不清晰。
2.2 問卷說明
在向用戶提出問題之前,有個最重要也是最容易忽略的地方,就是問卷的說明部分,通常這些說明會包括以下內容:
2.3 確定問卷的目標用戶
用戶分群:
用戶分群其實就是通過權衡來讓調研目的和用戶的需求相匹配,忽略和調研目的不相關的用戶,從而更好的調研目標用戶的需求,本質是為了提升效率。
常用的用戶分群維度由時間、用戶行為和用戶屬性三個維度組合完成:
-
完成了登錄注冊的用戶
-
沒完成登錄注冊的用戶
-
完成了登錄注冊,并且點擊了首頁廣告位的用戶
下圖是我們用的用戶分群工具:
選擇的維度越多,用戶越精準
我們在進行用戶分群時,定位的精準程度,和維度的選擇數量是正相關的。時間范圍越窄,用戶行為越多,用戶屬性越多,定位到的用戶越精確。
舉個例子:“近7天使用xx功能的男性用戶”,一定比“近7天使用xx功能的用戶”更加精準,因為多了一個“性別”的維度。
當然,每一個產品的業務模式和用戶群體都是復雜的,根據商業模式、產品功能、用戶使用習慣和目的不同,這些因素都可能成為用戶細分的維度。
樣本數量
樣本的數量,主要取決于我們想要回收多少份有效問卷,也就是回收率。
所以,在回收率固定不變的情況下,樣本數量越大,問卷回收的數量越多,反之,樣本數量越小,問卷回收的數量越少。
影響樣本數量的因素
影響樣本數量的因素主要分為響應率和完成率:
舉個例子:平臺通過渠道向100人發放問卷,只有50人打開了問卷,那么調查的響應率為50 / 100 × 100% = 50%
舉個例子:有100人點開了問卷,最終有50個人填寫完成,那么完成率為50 / 100 × 100% = 50%
相同的調研樣本數量,用戶響應率和完成率越高,有效問卷的回收率也就越高。所以,除了增加樣本數量外,也可以通過提高用戶的響應率和完成率,來提高問卷的回收數量。
舉個例子:
-
擴大問卷的曝光量,從而觸達更多用戶,提高響應率。
-
豐富問卷獎勵,增加用戶的答題意愿,提高完成率。
樣本數量的邊際效益
問卷數量的價值是存在邊際效應的,因為隨著樣本數量的增多,回收的答案是趨于一致的,參考價值較低,所以問卷的樣本數量并不是越多越好。
通常為了保證最終的有效問卷回收能滿足研究報告,應該在理想的樣本數量上,進行適當的擴充。
舉個例子:通過觀察平臺用戶的響應率和完成度,估算出抽取1000數量的樣本數量能夠支撐最終的研究產出,但是考慮一些特殊情況的產生,此時會再加上200的樣本數量,來確保問卷的回收率。
3. 問題和答案的設計
3.1 MECE原則
MECE是一種將一個具體事物進行"拆分"的原則,該原則由麥肯錫顧問巴巴拉·明托(Barbara Minto)在《金字塔原理》一書中首次提出,隨即被奉為咨詢解決思路的圭臬。其目的在于分析問題時盡量做到對問題點進行不重疊且不遺漏的分類,而且能夠借此有效把握問題的核心,并成為有效解決問題的方法。
MECE原則可以分為兩個部分:
互斥性原則是指在問卷答案的設計中,同一問題的若干個答案之間關系時是互相排斥的,不能有重疊、交叉、包含等情況。
完備性原則是指在問卷答案的設計中,所排列出的答案應包含問題的全部情況,不能有遺漏。特別是針對封閉題而言的,必須做到窮盡。
MECE的步驟
了解完MECE原則后,接著從以下四個步驟來說一下它的實際用法:
步驟一:確定范圍
明確問題是什么,比如說我們當前產品的問題是:“為什么新用戶搭訕次數低?”,所以我們的問題就會聚焦在搭訕數低的原因上,這也是“完全窮盡”的基礎,只有當問題有了邊界,才能窮盡。
步驟二:尋找切入點
切入點指的是按什么方向進行拆分,還是以“為什么新用戶搭訕次數低?”這個問題來舉例,我們從搭訕數低的原因出發,選擇的切入點是“角色”。即:在整個業務中,會涉及到的“用戶方”和“產品方”兩個角色:
步驟三:繼續細分
考慮當前問題是否可以繼續細分,比如說用戶方可以分為男性和女性,但是這對搭訕數并沒有直接的影響,可能還要繼續細分為年齡、地區、職業等屬性,直到找到影響“搭訕”的因素。
步驟四:檢查確認
細分完成之后,對問題進行檢查,看看是否有明顯遺漏或者重復的問題。
怎么檢查提出的問題是否已經滿足相互獨立和完全窮盡呢?這里提供以下兩個方法:
*注:MECE原則同時適用于問題和答案的設計。
MECE原則的拆分方法
MECE的拆分方法具體分為以下五種:
二分法
二分法指的是把信息分成A和非A的兩個部分,也就是說在找出事物的某一維度后,繼續找出一個相反的維度,通俗來說就是找出他的反義詞。常見的例子在我們生活中隨處可見,比如說:未婚和已婚、成年和未成年、黑和白、上和下等等。
象限法
找到一個事物的兩個維度,進行坐標系劃分,變成4個象限。
比如我們一次性接到了很多迭代的設計需求,可以根據任務的重要性和緊急程度兩個維度,確定所有迭代需求的優先級。
要素法
要素法是根據一個事物的做成要素行劃分的。比如說我們作為設計師,都知道體驗很重要,但是什么樣的體驗才能被稱之為好呢?于是很多公司會制定自己的體驗度量標準,比如Ant rDesign的PTECH模型,就把體驗拆分成了性能體驗、任務完成度、參與度、清晰度和滿意度。
*題外話補充:
HEART模型更多是用來度量C端產品的體驗,并不太適用于B端產品。B端產品多是提高效率的工具類產品,業務比較復雜且用戶需要付費才能使用,比較注重任務的完成效率和邏輯的清晰度。
公式法
按照現有公式中的要素進行去分類,比如說銷售額 = 銷售量 x 價格,CTR = 點擊數 / 曝光數(根據不同業務和場景會有細微差異)。
這種時候,我們就可以把銷售額拆分為銷售量和價格,CTR拆分為點擊數和曝光數。
流程法
流程法指的是把一個事物,按照進行的流程進行劃分。拿我自己的上班日常來舉例:8個活動組成一個流程。
3.2 問題設計
問題的四種形式
在提出的每個問題下面給出若干個答案,讓被調查者選出其中的一個或若干個問題來回答的問卷形式。封閉式問題的優勢在于,用戶在看到問題和答案的時候,很快就能理解提問者的目的。
a. 是非型:有且只有兩個備選答案,受訪者只能從中選擇一個答案。
b. 并列型:提供兩個及以上的并列答案,讓用戶在其中選擇最適合自己的答案。
c. 等級型:對兩個及以上分成等級的答案進行選擇的題型,只能從中選擇一個答案。
d. 排序型:讓用戶從備選答案中選出全部或者部分答案,根據用戶選擇順序對答案進行排列的一種方式。
開放式問卷是問卷設計者提供問題,由被調查者自行構思自由發揮,從而按自己意愿答出問題的問答題型為主,也就是我們常說的填空題。
開放式的優勢是經常會收集到一些意料之外的信息,且都是用戶直觀的感受。但正是由于它的開放性,會導致問題的答案很不規范,經常會出現用戶的回答和問題不相符的情況。這類不規范的回答無法使用數據分析方法,嚴重影響最后的分析效率。
比如說我們本次的問卷目標是調研影響用戶搭訕率和回復率的因素,其中有道填空題:
問題:您在搭訕聊天的過程中,有什么不滿意的地方?或有什么建議?
回答:不太清楚、不知道等詞語。
問題產生的依據
*問題的產生要有理有據。
我們本次調研的目的,主要是為了幫助用戶解決問題,所以在問卷的設計過程中,要問自己兩個問題:
-
找到用戶遇到了哪些問題?
-
造成用戶遇到這些問題的原因有哪些?
步驟一:通過用戶使用路徑差異,定位問題
通過對比路徑和數據漏斗,發現并記錄用戶在使用過程中遇到的問題。
如下圖,是一個簡化的用戶路徑和漏斗數據,主要分析的是“首頁 - 發送消息”這條核心路徑,可以發現:用戶流失最大的地方在“查看用戶資料 - 進入IM頁”這一階段。
當定位問題后,還需要通過福格模型來擬定問題和答案。
步驟二:通過福格模型,分析影響因素
福格模型認為,行為的發生,有 3 個關鍵的要素,并且需要 3 個要素同時發生才能產生作用,也就是動機、能力和提示:
-
動機:做出行為的欲望。
-
能力:去做某個行為的能力。
*之前的版本為 B=MAT,其中 T 是 trigger 觸發的意思,后續迭代成 B=MAP,P 是 Prompt 提示的意思,但是提示和觸發的差異并不大,不必糾結。
當我們利用福格模型去分析“查看用戶資料 - 進入IM頁”的流失問題時,就變成了:
針對MAP這三個因素,預測用戶在各個使用場景會遇到的困難,總結成問卷,向用戶求證。
問題篩選
我們通過上述方法設計出很多的問題后,時常會出現問題很多,“我全都要”的情況。
步驟一:通過屬性,對問題進行歸類
這里提供給大家一個思路:根據屬性不同,對所有問題進行歸類。當然,有時候會遇到這樣的情況:有一些問題沒有明確的屬性進行定義,但是又很重要,這種問題可以統一概括為其他。
步驟二:問題篩選
歸類完成后,從每一個屬性中,選出固定數量的問題整合成問卷,篩選的標準以目標結果為導向,也就是每個問題和本次問卷目標的關聯性,關聯性強,則納入問卷,反之則剔除。
這樣做的好處是在最后的問卷結構上,可以把相同屬性的問題放在一起,保證上下問題的邏輯性和相關性,用戶作答時不顯得別扭。
3.3 問題數量
問題的數量沒有固定的要求,根據不同的業務、不同的問卷目的,問卷的數量都是不同的。
通常情況下,問卷中的問題越多,所得的數據就越詳細。但是問題越多,用戶的投入成本也就越高,這樣就會導致填寫意愿降低。
我們公司平時的問題數量,基本會控制在15個左右,為的是讓用戶能夠在半小時內填寫完畢。因為用戶填寫問卷的耐心和時間都是有限的,所以在問題的數量上,不宜過多。
提問技巧
由淺入深
提供場景預設,幫助用戶回憶
在設計問題時,避免回憶性問題,特別是長時間以前的回憶,記憶的模糊會降低答題的準確率。
因為人的記憶是呈碎片化存儲在大腦里的,直接問用戶是很難被搜索到的。但是,在實際調研中,經常會出現不得不讓用戶回憶的情況,針對這種場景,需要在問題當中構建出一個具象的場景,這里的場景可以是時間、地點或者產品功能等,能夠幫助用戶串聯起回憶的都可以。
舉個例子:比如我現在想調研用戶使用發布模塊的情況,那么在問題設計時,就會圍繞發布相關的場景進行提問。
保持客觀,避免導向型問題
如果問題中帶有偏向性的語境,這樣就可能引發“誘導”,會導致用戶選擇問題“暗示”的答案。
舉個例子:
避免范圍很大的問題
如下圖,單看修改前的問題是沒什么對錯的,但聊天只是我們產品的功能之一,它由1v1聊天、群組聊天等多個功能組成。這樣就會造成用戶回答的內容很寬泛,很難提取出有價值的信息。所以在問題的修改上,我們需要更加具體的指向性內容。
避免一個問句,兩個問題
一個問句中,出現兩個及以上的問題。這個很簡單,我們直接用上面學到的MECE原則進行拆分就可以了,直接分成兩個問題提問。
避免術語、黑話
在設計問題時要避免使用專業性術語,通俗易懂的語言容易被不同畫像的用戶理解,避免誤會而引起的問答偏差。有些用戶可能因為不知道“算法”的具體意思,導致問卷無法進行。
避免雙重否定句式
雙重否定就是否定兩次,即表示肯定的意思,如:不得不。這種句式的問題,用戶通常不能一下子就讀懂句子的意思,增加答題成本。
敏感問題
不直接詢問用戶對某事的觀點,而是把問題轉移到其他人身上,然后,請用戶以第三人稱的視角,對他人的回答作出評價,更能得到用戶真實的想法。
首先假設某一情景或現象的存在,然后再詢問用戶的看法。
3.4 答案設計
答案設計的注意事項
答案的設計最后會影響數據的有效性,所以在設計上需要注意以下三點事項:
3.5 問卷評審
內審和外審
在內部評審之前,首先要自審一遍,這就要求我們在設計問卷后,最好是站在問卷回答者的角度,試著自己做一遍問卷,避免出現一些比較常規性質的問題,比如問卷的邏輯性、用詞的通俗性、語意的表達等。
問卷自審后沒什么問題后,可以邀請項目組的人進行內審,最好可以拉上開發、產品一起,提供多角度的思考方向。
4. 問卷發放
問卷發放主要從時間、地點、人物三個維度出發。
4.1 時間:
在問卷的發放和回收時間之間,需要考慮用戶看到問卷的時間和答題時間。
根據問卷的曝光程度,留有足夠的時間讓用戶能夠看到并點擊問卷,如果發放和回收中間留的時間過短,會造成用戶可能沒看到問卷,或正在答題中,就已經開始回收了。這種情況會導致用戶在沒有完整閱讀題目或者充分思考的情況下,隨便作答,無法獲取足夠的樣本數據和用戶的真實想法。
當然,發放和回收中間留的時間也不宜過長,時間越長,用戶忘記調研問卷這回事的概率也就越大。
4.2 地點(投放方式):
投放渠道,由于我們的體驗工作一般圍繞APP進行,所以我們的渠道主要分為以下幾種:
優點:可實現精準投放
缺點:受限于設備的消息開關,打擾性強
優點:由于是用戶主動點擊進行,所以有效性較高
缺點:廣告位多為全量投放,無法保證用戶參與度
4.3 人物:
用戶和問卷的匹配關系:問卷的調研對象必須是我們的用戶。也就是說,如果投放的用戶和問卷不匹配,那么最后得到的數據是沒有意義。
并且在分發方式上,還會根據規模分為部分和全量。部分就是針對用戶分群后的具體用戶,有選擇性的進行問卷發放。全量則是針對平臺所有用戶的問卷,這種由于平臺的用戶類型很多,資源浪費等問題,基本不太用。
5. 問卷整理:數據清洗
5.1 有效問卷的數量影響最后分析的準確性
在前文關于問卷的特點中我們提到,用戶回答問題的場景是不可控的,可能會出現瞎填的情況,如果我們回收問卷后立馬進行分析,會混入一些無效數據,大大降低我們調研結果的可靠性。
所以,在正式進行數據分析之前,還有一個問卷篩選的環節,以此保證數據的有效性,專業名稱叫做數據清洗。
5.2 篩選無效問卷的標準
既然涉及數據清洗,那么就一定會有一套標準去判斷哪些數據是可以“被清洗”的,所以我們這里總結了以下幾個標準供大家參考:
檢查答案是否出現保持一致,或呈現某種規律的情況,出現的問卷進行刪除。
舉個例子:所有的答案都是“A-A-A-A”或”A-B-A-B”
嚴格來說應該將漏填的答卷全都進行剔除,但有時候會遇到回收樣本量很少的情況,所以一般會設置漏答數的標準。
常用的標準是總題數的2/3,例如問卷一共設計了 10 個問題,回答了 6 個以上的用戶即視為有效問卷,反之,則視為無效問卷。
有些用戶受主客觀因素影響,可能不會認真選答案,所以需要檢查前后的選項是否矛盾。
在問題的設計中,經常會出現多個問題之間保持邏輯關系,如果用戶選擇了前一題“A”,則不應該選擇后一道題的“B”。
舉個例子:用戶在前一題中選擇了“從未搭訕過”,后面卻又選擇了“搭訕后沒有人回復“,這種就可以視為前后邏輯不符的答卷。
如果問卷中實在找不出可以用來表示邏輯關系的問題,那么也可以設置一個明顯錯誤的答案,最后統計問卷數據時,剔除該問卷即可。
當然問題的迷惑性不能太強,我們只是想要檢驗用戶是否在認真答題,而不是為難用戶,所以認真閱讀問題和答案就不會出錯。
舉個例子:第1題問:「請問您使用過語音功能嗎?若沒有,請忽略第 2 題」,如果用戶第1題選沒有的,卻仍回答了第2題,那么就可以把該問卷視為無效。
在發放問卷前,我們會進行答題測試,目的是估算出答題所需要的總時長,以此作為問卷答題時長的有效性依據,如果最后回收的問卷答題時間比預估時間過長或過短,就可以判斷為答題不認真,都可以根據業務需求酌情剔除。
提交時間主要針對的是在規定時間內完成答題,但超過了提交時間的用戶。比如說我們回收問卷的截止時間是12月7日,但是有的用戶是在12月8日完成答題并提交的,也會被視為無效問卷。(市面上有些問卷工具,可以回收設置時間,超過規定時間提交的問卷不計入問卷回收。)
6. 分析報告
統計各選項的數量、頻率是最常用到的分析方法,然后通過圖表展現出來,可以非常直觀的看出整體分布情況。具體可以分為趨勢分析和分組分析兩種方法。
6.1 分類篩選
顧名思義,分類篩選是根據類別來進行數據篩選的一種方法,常用的類別有:
-
來源詳情:如鏈接地址、郵件地址、手機、PC等。
-
地區:省份、城市
舉個例子:如下圖,選擇的篩選條件是問題回答+提交日期。最終選擇的類別為:年齡在21-30歲之間的用戶,且2021/12/23之前提交問卷的用戶,最后得到的有效答卷是 44 份,這就說明滿足該篩選條件的用戶有44人。
此時,系統會把這44個人回答的其他問題也全部篩選出來,如下圖:
44個人當中,有7個人搭訕過 1 次,9個人搭訕過 2-5 次,4個人搭訕過6-10次,5個人搭訕過 10 次以上,剩下19個人從未搭訕過。
6.2 交叉分析
除了分類統計,我們還可以通過交叉法,進行差異分析,找出影響因素。
交叉分析法通常用于分析兩個及以上的變量關系,即同時將有一定聯系的變量及其值交叉排列在一張表格內,形成交叉表,從而分析交叉表中變量之間的關系。
聽上去有一些麻煩,但是現在的很多問卷平臺都會提供交叉分析的功能,下面會以問卷星為例,簡單的了解一下交叉分析的具體流程。
步驟一:點擊問卷后臺的統計頁面,選擇交叉分析,選擇自變量X和因變量Y,點擊交叉分析。
步驟二:得出“分析年齡和關注信息之間的關系”數據表現。
當數據都放在一起分析時,很難看出年齡和關注信息這一行為的關系,但使用交叉分析之后,可以聚焦每個年齡段對于關注點的偏好,針對性的給出優化方案。
-
20歲以下的用戶中,最關注的是顏值,占比為63.64%。
-
21-30歲的所有用戶中,最關注的是年齡,占比為67.86%。
-
31-40歲的所有用戶中,最關注城市,占比為76.92%。
-
其他年齡的信息偏好等等...
上述的兩種分析方法(分類篩選和交叉分析),都是我們常用且方便的分析方法。如果想要更加深入的進行調研總結,可以使用一些專業的分析軟件,例如使用SPSS軟件,或者導入Excel表格做數據的處理,這都是目前使用比較廣泛的一些分析工具。
*重要的不是分析工具,而是對數據的敏感程度和分析能力。
7. 寫在最后
至此,從問卷設計到最后的數據分析就講解完了。
問卷調研不是目的,目的是通過調研得出的結論,指導我們體驗的優化方向,問卷調研本身只是了解用戶的手段之一,重要的是在問卷設計過程中加深對手頭業務的理解。
文章來源:站酷 作者:抓馬九七
分享此文一切功德,皆悉回向給文章原作者及眾讀者.
免責聲明:藍藍設計尊重原作者,文章的版權歸原作者。如涉及版權問題,請及時與我們取得聯系,我們立即更正或刪除。
藍藍設計( www.syprn.cn )是一家專注而深入的界面設計公司,為期望卓越的國內外企業提供卓越的UI界面設計、BS界面設計 、 cs界面設計 、 ipad界面設計 、 包裝設計 、 圖標定制 、 用戶體驗 、交互設計、 網站建設 、平面設計服務