認知科學的一個難題：協調互動
認知科學（cognitive science）是一門新興的科學領域，研究人類行為以及其背後的心理與神經機制。人與人之間的協調互動（interpersonal coordination 或joint action）是認知科學中的重要研究主題（Hari et al., 2015, Neuron; Hasson et al., 2012, TiCS; Sebanz et al., 2006, TiCS）。此能力在日常生活中處處可見，看似簡單，其實涉及很多複雜的認知歷程以及快速的行為反應。無論是進行單純的「多人一起搬重物」，到複雜且抽象的「人與人交談」、共同演奏音樂」、「球隊組織進攻」，人與人之間都需要不斷地「察覺他人行為」、「即時交換動作意圖」、「微調自身的動作以保持與他人同步」。此外，社會性的因素也對協調互動有很大的影響力，例如在多人合作的情況下，常會需要一個領導者來發號施令，統整個別成員的動作與意圖。因此，協調互動涉及了知覺、溝通、執行功能、社會心理、動作控制等各層面複雜的心智功能，而我們至今仍然對此所知不多。為求科學研究上的嚴謹，科學家在研究協調互動時，會偏好使用有良好控制的小實驗室進行研究。通常，參與實驗的受試者會進入一小間實驗室，而科學家會事先用電腦程式規劃好要呈現的刺激材料，以及記錄受試者反應的方式。在這樣的實驗設計中，科學家完全地掌控受試者所身處的協調互動環境、受試者執行動作的方法，因此得以清楚地檢驗操作變項對於協調互動的影響。
然而，在這類小實驗室的環境中，時常難以成功營造出人類真實的互動環境。對於認知科學，我們最感興趣的是人類行為對應的心理與神經機制（圖一A，Krakauer et al., 2017, Neuron）。在研究的設計上，科學家會希望藉由實驗的設計，研究某種特定行為，以及其背後的心理、神經機制（圖一B）。然而，在小實驗室中如果無法營造出足以貼近自然情境的協調互動行為，就算研究出心理和神經的機制，但這樣的機制卻是用來執行一個「非自然」的人類行為，距離理解人類在真實世界中的協調互動行為仍有一段距離（圖一C），缺乏「生態效度（ecological validity）」。畢竟，人類心智演化至今，不是為了適應「與虛擬人物做互動」的演化壓力。（題外話：但或許在未來，和虛擬人物的互動真的會變成人類新的演化壓力也說不定？）
但如果為了追求良好的生態效度，在完全自然的環境中觀察人際互動，各種真實環境中的因素（例如各種噪音）則容易意外地干擾人際之間的協調互動，也讓科學家難以釐清協調互動背後的機制。這類「生態效度」和「實驗控制」的兩難，是認知科學研究上經常會遇到的難題，更是研究協調互動時必然會遭遇到的巨大挑戰。
「 音樂」幫認知科學家開了一扇大門
音樂可以是研究人類心智時一個很好的「工具」。近年來認知科學界開始越來越重視音樂，更有文章刊登在認知科學界的頂尖期刊，說明比起在小實驗室中採用「人為的」、「不自然的」實驗環境，音樂尤其適合用來研究協調互動（D’Ausilio et al., 2015, TiCS ; Volpe et al., 2016, Phil Trans R Soc B），因為以下這些特點：1. 音樂是人類自然的活動：儘管形式不同，但音樂普遍存在於人類的各文化中，是重要的人類活動。其中，協調互動（共同演奏音樂、一起跳舞）更是音樂在各文化中的普遍特色（Savage et al., 2015, PNAS）。
2. 音樂可以在科學研究中被掌控：科學家可以藉由設計樂譜、演奏速度，而控制協調互動的內容。科學家也可以藉由改變音樂演奏的情境，例如演奏者之間看不看的到彼此，或是指定某演奏者為領導者，而更進一步掌控互動的情境。
3. 音樂活動涉及各層面的心智活動：聆聽音樂時的聽知覺、音樂訊息的認知處理、與他人合奏音樂時的動作控制、溝通協調，甚至是合奏中彼此的社會關係（領導∕跟隨關係），都是音樂活動會涉及的層面。
綜合以上三點，音樂活動涉及廣泛的心智活動，可以用來同時探討各層面心智活動的交互作用。並且，當採用音樂活動在認知科學的實驗中，科學家有很大的空間可以在「生態效度」和「實驗控制」的兩極端之間取得一定的平衡（圖二）。例如，可以從高度實驗控制的極端（人類只能跟隨電腦預設的節拍彈鋼琴），逐漸降低實驗控制以增加生態效度（讓電腦的節拍跟隨人的彈奏而改變），甚至是增加協調互動的複雜性與真實性（兩人合奏、多人合奏，到有觀眾在現場聆聽）。
分解步驟說明：如何用音樂研究協調互動
接下來的篇幅，我將會以我與合作者於今年發表在《美國國家科學院院刊》的一篇研究論文「Body sway re ects leadership in joint music performance（在團體音樂表演中的身體擺動反映表演者領導地位，Chang et al., 2017, PNAS）」為例（以下簡稱本研究），以分解步驟的方式，說明認知科學家怎麼用音樂來研究協調互動，以及如何解決研究中碰到的各類問題。研究目標
我們希望能夠建立出一套研究協調互動的方法。這套方法，我們希望既可以在不改變自然的情境下即時地觀察人與人之間的協調互動，更要可以有效地反映出人與人之間的領導與跟隨的社會關係以及合作品質。實驗受試者與實驗環境
在本研究中，我們以音樂合奏作為協調互動的模型，邀請了職業的弦樂四重奏樂團參與研究。弦樂四重奏的組成有第一小提琴、第二小提琴、中題琴、大提琴。在研究環境上，為了在有實驗控制的環境中進行自然的協調互動，我們在隸屬於McMaster音樂與心智研究中心（McMaster Institute for Music and the Mind）的「大型互動虛擬環境實驗室（LIVELab）」進行實驗。LIVELab 歷時5 年且耗資800 萬加幣建造。它的空間像是一個小劇場，可以同時容納表演者以及近百名的觀眾（圖三A&B）。它獨特的地方在於，在這樣大規模的空間中，仍然能像傳統小實驗室一樣有效控制環境因素：背景噪音可以低到8分貝聲壓，對人類的聽覺是近乎寂靜的程度。又能夠在空間中製造出虛擬的聲響環境：研究人員可以用電腦控制回音設定，能讓實驗室空間輕易地具有像是「小教室」或是「大教堂」的回音。因為這些良好的環境控制，LIVELab 可以同時紀錄實驗室內的所有觀眾以及表演者的腦波（electroencephalogram）、交感系統的生理反應（心跳、呼吸速率、流汗）、動態捕捉（motion capture）（圖三C）。......【更多內容請閱讀科學月刊第574期】
