最近在閱讀關于智能語音方面的書籍，將最近零零碎碎的筆記重新整理了一番，希望能讓讀者更加快捷、高效的認識智能語音方面的基礎知識點。
智能語音對話系統
語音交互界面是近年來最重要的趨勢之一，它不僅可以依托于智能手機而存在，而且可以和智能家居、車載導航、智能電視、智能音響等一系列產品結合到一起。越來越多的人更加頻繁地使用 Siri、Google Assistant、Cortana、小愛同學等。越來越多的應用也都已經涉及到智能語音技術。
1、語音和語言有何區別？
我們首先需要了解「語音」和「語言」的區別。
語音是語言的信號載體，語音是人的發音器官發出的，承載一定的語言意義，而語言才承載人類的智慧。通俗的講，語音是天生就存在的，嬰兒剛出生的哭喊聲也算是語音。它是人的發音器官發出具有一定社會意義的聲音。其物理基礎主要有音高、音強、音長、音色四要素構成。而語言則是需要學習不斷進化的。在智能語音中，我們需要考慮的是如何確保在復雜的現實環境下，把干擾信息過濾，獲取到準確的信息。
2、語音界面之間的關聯
喚醒：Amazon Echo 和 Google Home 之類的語音驅動設備不斷地在等待喚醒詞（“Alexa ...”或“OK，Google ...”）從而進入喚醒狀態。
反饋：一旦喚醒，設備會將隨后接收到的音頻發送到云端的AI平臺。 該平臺使用自動語音識別（ASR）和自然語言理解（NLU）的組合來識別用戶的意圖并將其發送到支持應用程序。
回復：應用程序處理請求并通過文本進行響應（如果支持則提供可視化信息）。該平臺將文本轉換為語音并通過設備播放。
3、對話系統概述
對話系統：能夠與人進行連貫對話的計算機系統，可以采用文本、語音、圖形、觸覺、手勢及其他方式與人進行交互，常以語音交互為主。
而如今的智能設備能夠“理解你所說的話并且采取行動”，是兩個重要技術結合的結果：一個是自動語音識別（ASR)，另一個是自然語言理解（NLU)。
自動語音識別（ASR） — 通過聲學模型和語言模型，將人的語音識別為文本的技術
自然語言理解（NLU）— 對用戶輸入的文本進行語義理解，包括用戶意圖識別和語義槽填充
對話狀態跟蹤（DST） — 根據所有對話歷史信息推斷當前對話狀態St和用戶目標
對話策略學習（DPL） — 基于當前狀態生成下一步操作
自然語言生成（NLG） — 獲取結果文本，主要依據模板或深度生成的模型生成用戶可以理解的自然語言文本
從文本到語音（TTS） — 結果播放給用戶聽，將自然語言文本轉化成語言輸出
4、語音交互設計需要遵循什么原則？
遵循合作原則：「聽者」和「說話者」為了能夠順利交談，必須互相合作。Paul Grice 提出了這個觀點，并將其分為以下4個準則。
質的準則：說真實信息，做不到的話不要說。
舉例：對用戶說：“有什么可以幫您的嗎？”，而實際上整個 VUI 系統僅僅能提供查詢話費余額。
量的準則：保持對話交流簡潔，減少認知負荷。
解釋：刪除多余的措辭。比如“請您注意聽，因為我們的選項可能已經變了”。
相關準則：所說的話需與當前對話有關，不干擾當前任務進行。
解釋：比如用戶想知道天氣，你給他推薦旅游的地方。
方式準則：說話需清晰、明了，不要拐彎抹角。
解釋：不要使用讓用戶難以理解的「專業術語」。
了解 VUI 相關知識
語音交互界面（VUI）指的是為用戶提供可進行語音交互的計算機平臺，它能夠實現自動化的服務并且提供完整的相關流程。而設計 VUI 的時候，設計師需要側重于用戶的語音交互過程，并設計出相應的語音應用系統。由于 VUI 是面向用戶的交互界面，因此滿足用戶的實際需求是至關重要的。
1、語音用戶界面 VUI 簡史
20世紀50年代：貝爾實驗室建立了一個單人語音數字識別系統。
20世紀60、70年代：語音數字系統的這項研究仍在不斷拓展可識別的詞匯，并且致力于實現“連續語音”的識別。
20世紀80年代：技術進步讓語音識別更具實用性，使日常語音的識別成為可能。
20世紀90年代：誕生了第一個可行的非特定人的語音識別系統。簡稱 IVR
21世紀初期，IVR 系統成為了主流，任何人都可以通過一個普通的固定電話和語音進行股票詢價、機票預定、銀行轉賬、處方藥品預定、本地電影排片查詢以及收聽交通信息等。
2、那什么是 IVR 系統？
交互模式的語音應答，簡稱為 IVR。我們后續簡稱為：交互式語音應答（IVR）系統
它可以通過電話線路理解人們的話并且執行認為，一般都廣泛的應用在運營的客服方面，即使是現在三大運營上的機器客服還是采用了這種語音應答的方式。但是通過電話撥號的方式開始語音的問答還存在很多的缺點，例如只能應用在單輪任務的問答，交互方式比較單一，不能進行中途打斷等缺點。
IVR，即語音增值業務，是移動運營商由2002年開始啟動的業務。移動的 IVR 分為兩大品牌：音信互動和娛音在線，聯通的 IVR 品牌為聯通。
3、IVR 系統設計與移動設備
21世紀初，IVR 系統已逐漸普及。起初“按鍵+語音”的混合形式（請按“1”或者說“1”），是很常見的模式，比如10086的查詢功能。人們創造了 IVR 系統，希望它可以自動處理一些事物，這樣客戶就不會總是需要找一個真人來解決問題了。相比與真人客服交談，很多用戶實際上更喜歡使用 IVR 系統，因為他們可以花很長時間反復咨詢信息而不會覺得他們是在“打擾”一個人類客服。
移動 VUI 設計需要注意：
1、確定它是否需要一個視覺化的呈現，比如一個虛擬角色。
2、確定你的 VUI 在什么時候允許用戶說話？可以被打斷嗎？是否需要按鍵功能？
4、VUI 的優勢是什么？
速度快：語音輸入的方式比手動輸入快很多，同樣的時間可以輸出更多的信息。
釋放雙手：釋放雙手與機器進行交互，比如駕駛狀態下，通過語音輸入完成用戶需求，安全和便利。
直覺性：說話更自然，更容易。可以直接通過語音輸入的方式來表達你的意愿。
同理心：語音包含了語氣、音量、語調和語速，且傳遞了大量的感知信息，不僅僅是文字那么簡單。
5、哪些場景不適合使用 VUI ？
公眾場所：開放的環境辦公，比如：咖啡館、圖書館等。環境影響因素較大，不利于用戶語音的錄入和接收。
不適應對計算機說話：并不是每個人都喜歡對計算機大聲說話，即使是在私人空間。
更喜歡打字：許多人習慣每天在手機上花幾小時，大部分的時間都是在打字。
隱私安全：比如身份證、銀行密碼等。GUI 比 VUI 更加適合高效安全輸入。
6、哪些場景適合使用 VUI？
使用場景需要騰出雙手，比如車載導航、智能音響。
作為家庭的控制中心，打造智能家具居控制的切入點。
語音記錄病歷，不管對醫生來說還是患者來說，都是提高看病效率的很好助手。
幫助用戶簡單記錄、查詢、照顧用戶的作息時間等。
7、VUI 設計師的工作內容
VUI 設計師思考的是在系統和終端用戶間，從開始到結束的整個對話過程。他們思考正在解決的問題以及用戶需要什么來達成他們的目的。VUI 設計師在項目中扮演著非常重要的角色。通常會參與項目全程的工作，并與團隊合作完成在技術、體驗、設計上的優化。
如果 VUI 需要與后端系統進行交互，他們要考慮需要處理的請求。如果流程中有人的因素，比如客服需要交接，那么設計師需要考慮如何進行交接，以及如何培訓客服。
語音用戶界面基本設計原則
1、對話式用戶界面
對話式設計定義：思考如何與 VUI 系統進行一輪以上的交互。
因此，需要設計一輪以上的對話，并思考用戶接下來可能會做什么。不要強迫用戶展開新一輪對話，而是去嘗試了解用戶的意圖并允許用戶繼續交談，同時有必要為用戶近期所說的話保留歷史記錄。
2、多模態界面
與 IVR 系統不同的是，在移動設備上我們可以增加一個可視化組件。
比如在向用戶傳達信息、確認信息，以及告訴用戶什么時候輪到他們說話等。（比如：百度地圖的小度，他會告訴用戶什么時候可以說話，目前所處的狀態，說完之后給予的反饋）
如果有一個可視化組件，則會讓移動設備增強優勢。允許用戶同時使用語音和屏幕進行交互。（手機上虛擬助手，有些雖然以語音交互為主，但是在用戶的智能手機上也會有一個配套的APP）。
3、設定用戶期望
優秀的對話式設計不僅僅是精心制作的友好提示。Google 交互設計師 Margaret Urban 建議：如果你不能理解答案，就不提問。
“當某個人成功完成了一次語音交互，伴隨著腦內咖（endorphin）的升高，用戶會獲得一種成就感和滿足感。此時正是一個絕佳的時機來告訴用戶”你做的很棒，要不要再試試這個？”
是否讓我們想到了網頁登陸驗證的時候，需要完成一塊拼圖，但是你再慢他也告訴你超越全球96%以上的人。
“如果你已經設計了一個設置鬧鐘的功能，但是你沒有提供用戶取消設置的方式，這就像給人一條浴巾但是沒給他香皂一樣。如果你設置了可以完成某項任務的語氣，請務必考慮與之相關的任務?！?/strong>
4、確定策略時需注意的幾點
輸入確認：必須確保用戶感覺到自己是被理解的，同時有助于讓用戶知道，什么時候 VUI 不理解他們所說的話。
1、確認錯誤的后果是什么？比如：預定錯誤的航班？制定錯誤的任務？播放錯誤的歌曲？
2、系統將如何反饋？比如：會有音頻提示嗎？是否有視覺反饋嗎？比如Amazon Echo上的光環。
3、是否擁有屏幕？比如：車載導航、手機屏幕、智能手表。
4、選擇合適的確認形式？比如：明確確認、含蓄確認、混合式的確認。
5、確認策略的兩種方案
顯性確認：重要信息，需強制用戶確認信息。
隱性確認：讓用戶知道他的話接收到了，但不需要他們確認。
6、確認信息的方式
三級置信度：
系統將在一定的閾值內，以明確的形式確認信息，拒絕較低置信度的信息，并以隱性確認來確認置信度超過80%閥值的信息。
1、80%以上，使用隱性確認。如果是誤識別代價高的話，考慮采取顯性確認。
2、45%-80%，使用顯性確認，以明確的形式確認信息。
3、45%以下的，拒絕確認信息。
舉例：用戶：幫我再買一份口香糖。
VUI：（置信度大于80%，使用隱性確認）好的，已經為您再購買一份口香糖。
(置信度45%～79%，使用顯性確認）您是想再多買一份口香糖，是嗎？
(置信度小于45%）對不起，我沒有聽清您講的話，您想買什么？
隱性確認：
1、只使用隱性確認，不要求用戶進行操作。
2、將「答案」和連同「原始的問題的一部分」一同回復，讓用戶知道系統識別到的是哪個問題。
3、當置信度高的時候，也可以不用連同問題，這樣更自然流暢。
非語言式確認：
1、僅需行動反饋，而不需要口頭響應。
2、通過視覺確認，比如小米智能家居，可以通過語音交互打開燈光、電視、窗簾等。
a、如果沒有延遲，沒必要再對其回復。
b、如果有3-5秒延遲，需進行回復，讓用戶知道并不是設備沒有聽到她的聲音。
3、使用一個“聲音標識”，即簡短的、有識別度的聲音。這樣有助于幫助用戶快速知道他們已經到了哪一步。
通用確認：
1、在某些對話式系統中，最好不要詢問用戶具體說了些什么 - 哪怕是隱性確認。
2、通用確認可以讓用戶分享更豐富的體驗，因為這類反饋能適應用戶輸入的各種信息，并讓對話繼續進行。通常人與人之間的對話，也不會句句必回復，也會有 “嗯” “哦 ”“啊” “然后呢”等。
視覺確認：
1、確認一個項目清單，通過屏幕顯示進行溝通會更加有效。人的記憶有限，通常用戶一次性不能記住超過大約7個聽覺項目。
2、用來確認用戶的選擇。用戶可以通過說話或按下按鈕來回復。而 GUI 的反饋指令更加明確。
7、判斷你的 VUI 適合哪種類型
目前大多數的 VUI 系統都是“命令 - 控制”模式，這意味著當用戶想要說話時，必須給出明確的指示。
1、用戶可以隨時向系統詢問 / 發出命令嗎？
2、是否參與一個有明確開始和結束的封閉式對話？
8、命令-控制模式
喚醒系統方式：按鍵通話（車載導航、Siri等）、直接進行關鍵詞呼叫（“OK Google”“小度”等喚醒詞）。
喚醒系統反饋：系統檢測到用戶說話完成，通常會使用某種非語言的音效進行提示，然后做出相應處理（比如：“?！钡囊宦暬蛘咭曈X反饋：聲波線、點狀動效、設備逐漸發光等）。
系統聆聽時間：用戶說出喚醒詞或按下按鈕后，系統保持聆聽狀態的時長，根據經驗來看，10秒 是個不錯的起始時間段。
喚醒響應時間與反饋方式
喚醒響應時間與喚醒反饋方式有關，不同喚醒反饋方式下，最佳響應時間不同：
1、當喚醒反饋為"燈光"反饋時，喚醒響應速度越快越好，在200ms時，用戶響應舒適度最高（對響應時間評價為剛剛好的用戶比例），73%的用戶對速度滿意。
2、當喚醒反饋為"燈光+音效"時，喚醒響應速度的舒適時間為300ms左右，76%的用戶對速度滿意。
3、當喚醒反饋為"燈光+人聲"時，喚醒響應速度的舒適時間為500ms左右，74%的用戶對速度滿意。
數據來源：百度人工智能交互設計院智能音響時間測試實驗
喚醒等待時間體驗感
用戶請求及反饋階段響應時間對等待體驗的影響：
1、1250ms以內是用戶認為響應速度較優的區間，其中650ms為最佳體驗值。在450ms時，少量用戶覺得響應速度太快了，用戶會感覺到緊迫感和壓力，難以接受。
2、在1450ms時，有53%的用戶開始感覺響應有延時，但仍能夠接受。
3、從2150ms開始，有20%的用戶認為音箱響應太慢，不能夠接受。我們認為20%的用戶不滿意，已經不足以被稱為一個優秀的產品。
數據來源：百度人工智能交互設計院智能音響時間測試實驗
9、對話模式
1、不要強迫他們不斷地去表明他們將要開始說話，自然地對話技巧進行話輪轉換。
2、通過更精細的設計，使 VUI 系統可以處理一些常見的微妙表達方式。（用戶處理完畢說“謝謝”，你可以設置系統忽略這種情況，或回復“不用客氣”，而不是提示或者報錯。）
3、不要問你都無法理解的反問句。
4、打破話輪轉換的情況，用戶在系統說完之前就進行提問。
5、在命令 - 控制模式和對話模式之間進行切換。喚醒之后進行自然的對話。
10、對話式標識
使 VUI 更加人性化、更具吸引力，對話式標識是讓用戶了解交談進展以及進展情況的重要方式，當系統在對話中使用了一些基本的對話禮儀后，用戶的參與度會更高，并且會以同樣的方式進行回復。
反面案例:
虛擬助理：你昨晚你睡了幾小時？
用戶：大約7個小時。
虛擬助理：你昨天吃了幾份水果和蔬菜？
用戶：大概有4份。
虛擬助理：你昨晚吃藥了嗎？
用戶：吃藥。
虛擬助理：再見。
正確案例:
虛擬助理：我會問你幾個有關你身體健康的問題。第一個問題，昨晚你睡了幾小時？
用戶：大約7個小時。
虛擬助理：不錯。你昨天吃了幾份水果和蔬菜？
用戶：大概有4份。
虛擬助理：了解了。最后一個問題，你昨晚吃藥了嗎？
用戶：吃藥。
虛擬助理：好的，暫時就這些了，我明天還會再問你的，回見。
11、異常處理
“當你與人類交談時，永遠不會出現不可恢復的錯誤狀態?！?
— ABI JONES, Google 設計主管
“你偶爾因為犯錯和不知道某些事情導致評分降低造成的影響，比你每次做對一件事情重要百倍?！?nbsp;
— 英特爾語音助手部經理 Pilar Manchon
如果處理的得很好，錯誤情況就不會影響用戶，你可以讓用戶回到正常流程，并順利完成任務。但如果處理不好，用戶不僅這次無法完成任務，他們以后都可能再也不用你的產品了。
一個好的設計師應該知道，你不能只設計正常的情況， 你還要對出錯的情況做出設計。這對于 VUI 設計來說尤為重要，因為出錯情況是家常便飯。
未檢測到語音 / 檢測到語音，但沒有識別
1、什么情況下可以明確說出來？
a、你的系統只使用語音
b、用戶沒有其他的回復方式
c、必須要用戶回復后，系統才能繼續進行任務 / 對話
2、什么情況下可以什么都不做？
a、用戶可以通過其他方式進行下一步操作（比如通過按鍵選擇）
b、就算什么也不做，也不會中斷對話
c、系統沒有理解時，用視覺信息提示告訴用戶，比如：提示列表等
d、利用虛擬表情形象反饋，疑問、微笑等動作表達
其他異常處理
1、當出現：語音被正確識別，但系統無法處理
a、程序對關鍵屬性理解不明，寫了錯誤的回復
b、沒有針對一些情況的回復
解決：對用戶可能會說到的所有情況做更完善的預測，通過數據收集來避免此問題
2、當出現：部分語音識別錯誤
a、什么也不去處理，因為這不是你想要的結果
b、匹配錯誤的行為
解決：可以用 N-Best 列表來智能匹配最有可能的識別結果
3、增強錯誤提示
a、當需要用戶說話的時候，使用這種增強錯誤提示策略
b、必要的情況下，進階錯誤行為提示可以更為詳細，并提供更多的幫助
c、如果你正在設計一個可以提供真人輔助的系統，可以為錯誤數量設置一個閾值，當達到該閾值時，將用戶轉移給人工助手
12、新手和專家用戶
如果你的用戶會定期使用你的系統，那么在設計中就需包含不同的策略。
“務必確保你的目標不是簡單的訓練你的用戶，應當適應用戶的行為，而不是用已有的命令讓用戶感到厭煩?！?
— Google 交互設計師 Margaret Urban
我們在 VUI 設計上該如何更好的交互設計？
1、減少冗長指令以及其他引導提示。通過計算 APP 使用次數和頻率來確認是否切換模式。
2、縮短解釋性提示。但是請務必使用“對話式標識”。
3、啟動效應。
什么是啟動效應？
指某人受到某種特定的刺激后（例如一個詞語或者圖像）會影響他們對之后刺激的反應。首先讓用戶預先知道你會問他們幾個確定數量的問題，為后面會發生的事情提供了暗示，用戶就會知道如何去準備。比如以下情況：
1、當給人們呈現一個還沒完成的草圖，隨著這個草圖越來越完整，人們就越來越辨認出這張圖畫的是什么。之后，再給他們呈現其他還沒完成的草圖時，他們會更早辨認出這張圖畫的是什么；
2、如果當給人們呈現一組漢字，假如里面含有 “河” 這個字，隨后讓他們寫出部首是 “氵” 的字時，這些人回答 “河” 的幾率會更大。
談談自己對新手和專家用戶的理解
01、專家型用戶：代表老用戶且愿意探索你的產品或服務，有著很大的包容度。并會積極提出各種改進的建議和享受產品帶來的驚喜感。
02、新手：什么叫新手，就是剛剛下載你的產品，準備使用的用戶，對產品功能都還處于陌生摸索的階段。他們不會因為你的技術而使用你的產品，使用你的產品目的是完成某項任務。他們有興趣使用更高級更復雜的產品，但卻不愿意接觸全新的東西，要想讓他們認可，那么產品就必須足夠簡單。
13、持續跟蹤上下文
持續跟蹤信息并不容易，但如果不跟蹤這些信息，你的 APP 就只能做單輪的對話行為。
指代：用兩個不同的詞語指同一個東西。比如： “他” “哪些”
14、幫助和其他通用部分
我們在設計 IVR 系統時，我們會確保每個狀態都包含一組通用組件：重復、主菜單、幫助、操作和再見。
15、延遲
產生原因：糟糕的連續性能、系統處理進程、數據庫訪問
處理方式：告知用戶關于延遲的情況（比如：“請稍等，正在查找相關記錄”）、非語音和視覺的提示（比如：延遲提示音以及加載狀態）、可視化效果（比如：加載中的動態圖標）
處理細節：延遲的時長可能為0～10秒，在沒有延遲的時候最好也插入幾秒的延遲。因為如果在系統說“請稍等”之后，緊接著就繼續對話的話，會給用戶帶來異樣的感受。很多設備針對喚醒詞采用了本地化識別的方式，這樣喚醒的會更快。
16、消除歧義
問題來源：用戶只會提供執行命令所需的部分信息，而沒有提供所有的細節。
舉例：用戶可能會詢問某地的天氣，而很多地方都有叫這個名字的地點，諸如“湖南路”那邊的天氣怎么樣。
解決方案：
1、依靠任何已知的信息來確定答案，而不是再次詢問用戶。
2、根據上下文線索進行判斷。
3、反問用戶進行確認，確保系統對用戶同一個問題的各種各樣的回復形式都有良好的適應性。
4、指令不明確。比如“給胡歌打電話，撥打工作電話還是家庭電話？”，系統以隱性的形式對名字進行了確認，系統對這個名字有很高的置信度，并且僅有一個胡歌。
5、用戶回答的信息超初了你的 VUI 系統可以處理的范圍時，你可能需要縮小范圍消除歧義。
17、設計文檔
我們需要制作：示例對話（sample dialogs）和會話流（dialog flow）文檔外其他一些情況。例如：在設計過程中，你還需要創建提示列表、完善對話每個狀態指定完整的語法規則等等。
18、無障礙設計
“一開始，我就很討厭屏幕閱讀器的工作方式。為什么它會被設計成這樣？當以視覺的方式來展示信息沒有任何意義時，屏幕閱讀器只是簡單地將文字轉換成音頻。所有那些應用花在創造完美用戶體驗的時候和精力此時都變得沒有任何意義，甚至有的給盲人用戶帶來了更糟的體驗。” — 克里斯·莫里（Chris Maury）
19、典型 VUI 項目交付項內容
示例對話：系統和用戶之間可能產生交互行為的預設對話，對話看起來就像電影劇本一樣，包括兩個主要角色之間來回往復對話。
流程圖：展示下一個狀態分支的所有方式，不一定要羅列所有的交互或示例對話，也可以是功能的分組、文本的分組等。
提示列表：如果沒有屏幕可以使用配音演員或語音合成來播放提示列表。
產品原型：如果這是一個多模態產品，有屏幕、支持觸摸交互。
參考文獻：
《語音用戶界面設計：對話式體驗設計原則》-【美】Cathy Pearl（凱瑟 彼爾）
語音交互入門：從概念，原理到如何設計VUI產品 - 杜松
AI時代的語音設計經驗漫談 - 少夫白杰
語音用戶界面設計 - 對話式體驗設計原則 - walle_x
