語音與視覺輸入影像的整合 — 讓聆聽經驗更豐富、更精確！
文／ 劉宇挺
國立臺灣師範大學英語學系 副教授
哥倫比亞大學教育學院英語教學博士
在先前的導論裡，我們曾經提到第二語言教師在設計語言教學或學習活動時，需要適時地導入「認知」的使用，讓語言的學習不只是依賴，或是建立在僅有涉入「語言」知識的使用過程中，而是同時涉入「語言」與「認知」的學習活動。我最近在知名兒童語言學習教科書商的一項產品上，就看到了這樣的概念。在他們設計的閱讀測驗中，讀者常常需要使用「非語言」（認知）面向的知識，去回答「語言」知識的問題。例如：讀者需要用星號「☆」圈出閱讀段落中，某一個問題的答案；再用波浪底線「﹏﹏」標示出某個詢問作者隱喻的關鍵字；在下一個問題當中，又需要使用「刪除線」在閱讀段落中刪掉贅字。最後，讀者還得使用三角形「∆」，在每一個未習得的字彙上方做標記。也就是說，為了完成這些語言相關的問題或任務，讀者得費盡心思地使用他們的認知知識（如各種形狀的對應知識）。當然，這套教科書的編者大可以要求直接用同一符號來標記（這樣對於認知知識的使用和負擔就不會那麼大），或是單純地使用文字回答（這樣可以讓讀者的所有任務都侷限在語言面向）。但是，這套教科書的編者之所以要讀者大費周章地使用認知，其背後就是希望讀者同時使用他們的語言與認知知識，來記得曾經讀過的東西，以加深印象，讓語言的學習不只是依賴（所習得過的）語言知識。
非語言視覺訊號的重要性
上述論點，與最近在頂尖專業語言學習期刊 Language Learning 中發表的兩篇文章，觀點不謀而合 (Worster et al., to appear; Méary et al., to appear)。這兩篇文章都是使用語言學習者的眼（球）動（作）資料，來研究語言聆聽過程中，是否只是單純涉及「語音」等語言知識的分析。他們發現在聆聽語言（語音）訊號的過程中，不論是大人或小孩 (Méary et al., to appear)、正常聽力或聽損人士 (Worster et al., to appear)，都會不自覺地以眼睛去掃描分析面談者的臉部表情、嘴唇動作等非語言視覺訊號。這項語言（語音）與認知（非語言視覺訊號）知識的分析，是提供語言學習者精進發音（更知道如何發出某個音的細節）、熟悉何時可以在對話中適時打岔，或是加入對話 (conversational turn taking) 的關鍵訊息。也就是說，提升聽力與發音不僅僅只是涉入語言（語音）分析的過程。語言學習者是否能夠適時地注意到，這些似乎與語言（語音）無直接相關的非語言視覺訊號，直接地預測了他們在句意理解的表現 (Worster et al., to appear)。而 Méary et al. 更發現，在聆聽過程中，分析非語言視覺訊號在語言技巧尚未成熟的小朋友身上，比在語言技巧較為成熟的人身上，扮演更重要的角色。而 Maurer 及 Mondloch (2005) 這兩個學者更發現，年紀較小的語言學習者更會分析、善用，及同時整合語言（語音）與認知（非語言視覺訊號）知識，用來提升精進他們的聽力。這暗示著，教師在設計課堂聽力活動給年幼，或是語言知識尚未成熟的學生時，要確認此活動不僅僅只是涉入語言知識，還要確認此活動對於非語言（認知）知識的涉入比重。可是，若我們仔細回想平常在課堂中所使用的聆聽或聽力活動，往往都是僅涉入語言知識的活動，對於認知面向的需求相當有限。在年幼語言學習者的聆聽中，少數可以加入認知元素的聆聽活動，便是繪本互動帶讀。
「看得清楚」的聆聽活動
在此，我們要建議一種聆聽活動，讓教師可以使用於不同年齡的學習者，且可同時激發語言（語音）與認知（非語言視覺訊號）知識。如果上述在 Language Learning 所發表的文章發現與觀點是正確的話，我們似乎應該在語言學習者的聆聽活動中，加強認知（非語言視覺訊號）知識分析的可能。可行的方式就是，使用教師自己或是錄製他人在口語產出過程中，針對臉部表情，甚至是嘴部／嘴形動作的影片（如下圖）。
這種近距離針對臉部與嘴形特寫的影片，讓教師在授課時可以提供全班學生都「看得很清楚」的非語言視覺訊號分析的輸入。一般課堂上所使用的影片（如 YouTube 影片或現成教科書出版商所提供的），或是教師自行示範的發音活動中，由於影片取景（通常是全身或半身入鏡）或距離的關係（台上老師與台下每位學生的距離），學生不可能清楚地分析教師臉部表情或是嘴形動作。在這樣的聆聽環境下，學生自然就只會依賴語言（語音）的輸入來聆聽。這樣的特製影片（近距離針對臉部表情或嘴型），提供了近似嬰兒近距離觀看父母親和他們對話時的聆聽環境，進而鼓勵學生同時去分析輸入語料中的非語言視覺訊號，使用他們的認知去聯想語音和相對應的非語言視覺訊號的關聯。
至於影片中是否要再加入字幕，或是相對應的音標，則可以作為後續聆聽活動中的可能選項。加入字幕可以減輕語言（理解）面向上的負擔，使學生可以更專注於認知面、分析嘴形等非語言視覺訊號。加入音標則可以讓學生更清楚地知道，某個發音與相關臉部及嘴型的連結，這會比跟學生「講述」apple 中第一個（母）音 /æ/ 要「張大嘴巴」，更能讓學生意會嘴巴要張得有多大。更重要的是，藉由上述的聆聽活動，教師不需多費唇舌，就能讓第二語學習者複製與體驗學習母語時的聆聽經驗，強化他們多參酌語言（語音）知識之外的線索，也能讓語言教師不再需要完全依賴現成的影片，讓自身的輸入與示範更有意義。上述的教學 idea 其實也不盡然是新意，只是透過現行做法再微調 (fine-tuning the current practice) 。
語音教學的微調
語言教師常對於語音教學覺得無力，不知道要如何「教」語音 (how to teach L2 pronunciation)，才能讓學生正確地分辨與說出道地的第二語言。學生對於教師的示範也常常似乎是「耳背」（”phonological deafness”，對於相關議題的討論，請見：Maurer & Werker, 2014），無法真正「聽」進去。但是 RiveraGaxiola et al. (2000) 針對第二語言學習者的腦波研究，卻發現第二語言學習者其實並沒有「耳背」；即使在聆聽母語中所沒有的音檔時，他們的腦波明顯地呈現出對於母語中不存在、雷同但不相似聲音的覺察。只是，這樣的覺察仍無法精確地反應在我們（研究學者）要求第二語言學習者執行的音辨任務／實驗中。這表示我們現行的語音教學還是有意義的，只是我們仍需要再 「微調」，以使我們的教學更有效。
參考文獻：
‧ Rivera-Gaxiola, M., Csibra, G., Johnson, M. H., & Karmiloff-Smith, A. (2000). Electrophysiological correlates of cross-linguistic speech perception in native English speakers. Behavioural Brain Research, 111(1-2), 13-23.
‧ Maurer, D., & Mondloch, C. J. (2005). Neonatal synesthesia: A reevaluation. In C. L. Robertson & N. Sagiv (Eds.), Synesthesia: Perspectives from cognitive neuroscience (pp. 193–213). Oxford: Oxford University Press.
‧ Maurer, D., & Werker, J. F. (2014). Perceptual narrowing during infancy: A comparison of language and faces. Developmental Psychobiology, 56, 154–178. https://doi.org/10.1002/dev.21177
‧ Méary, D., Jaggie, C., & Pascalis, O. (to appear). Multisensory Representation of Gender in Infants: An EyeTracking Study. Language Learning
‧ Worster, E., Pimperton, H., Ralph-Lewis, A., Monroy, L., Hulme, C., MacSweeney, M. (to appear). Eye movements during visual speech perception in deaf and hearing children. Language Learning.
