文章專區

2022-11-03電話、網路民調的數字可信嗎?數位時代下抽樣的取得與挑戰 635 期

Author 作者 俞振華/美國哥倫比亞大學政治學博士,現任職政治大學,為該校選舉研究中心研究員暨政治學系教授。

Take Home Message
►科學性的民調必須具備信、效度高的問卷題組、標準化的調查方式、代表性的樣本,以及嚴謹的資料分析。
►市話調查的樣本具涵蓋率的問題,但在成本考量下能改善的空間相當有限,而網路調查也有自願性樣本造成的偏誤。
►民調的結果勢必存在各項偏誤,唯有理解民調的各項限制,才能更全面地解讀數字背後呈現的民意。

每到選舉年,民調數字幾乎每週都會出現。媒體報導的焦點,往往是哪位候選人領先、哪位候選人落後。畢竟這種賽馬式的民調數字,最容易引起民眾的關注。不過,這些數字起伏之間卻潛藏著諸多「貓膩」,我們應該要對不同的民調方法有初步的了解,才能正確地解讀民調數字真正代表的意義。

民意調查能誠實呈現調查數據嗎?

透過問卷調查的方式搜集資料是社會科學研究最常使用的研究方法之一。現代的民意調查藉由設計好的問卷題組,依既定的調查方式詢問具代表性的樣本,進而以受訪樣本的回答推論出母體的態度或行為。換句話說,一個科學性的民意調查研究,必須具備:(一)信、效度高的問卷題組〔註〕,(二)標準化的調查方式,(三)代表性的樣本,以及(四)嚴謹的資料分析。這幾項要素缺一不可,也是我們用以檢視各項民調數據良窳的重要基準。

以一般選前的民調來說,我們在解讀數據前應該注意:問卷題組是否可以探知民眾真正的投票意願及支持傾向?不論採何種調查方式,是否依照既定的標準程序?是不是每一位選民(20 歲以上的民眾)被抽到成為受訪者的機率都相等?以及在資料處理、分析的過程當中,是否採用適當的統計方法,誠實地呈現調查數據?本文主旨是盤點各種選舉民調方式的差異,主要聚焦在調查方式與樣本代表性這兩項要素。

電話民調的潛藏問題

目前我們最常看到的民調方式就屬電話民調了。近年來,由於「唯手機族」(即只使用手機而不使用市話)的人口快速增加(約已超過30%),尤其是年輕、都會族群幾乎都以手機為主要通訊工具,因此許多電話調查都已加入手機樣本,藉以增加年輕族群的涵蓋率,所以在一波調查當中會同時包括市話及手機的樣本。但這種結合市話與手機樣本的調查方式,在今(2022)年地方選舉的調查中卻不常見。主要是因為手機調查沒有區域號碼,無法得知受訪者究竟位於哪個地區,必須要多增加一個題目來過濾,例如訪問一開始就問:「請問您的戶籍是否在臺北市?」由於這樣的過濾方式大幅增加訪問成本,因此並不常見。導致目前針對地方選舉的電話調查,仍以傳統的市話調查為主,無法涵蓋唯手機族。

只用市話調查最還存在一個顯著的問題⸺年輕受訪者的比例過低。以臺北市為例,20 ~ 29 歲的民眾約占全體市民的12 ~ 13%。但一般市話調查在沒有加權的情況下,樣本當中20 ~ 29 歲受訪者的比例如果有6 ~ 7%就不錯了。在此情況下我們能透過加權讓樣本的分布比例和母體相當,等於是將每個年輕受訪者意見當成兩個來用(即權重約為2)。雖然事後加權已是調查實務界普遍的作法,但這是奠基於一個很強的假設:受訪者的態度與未接受訪問的態度並沒有顯著的不同。如果接受市話調查的年輕族群與其他年輕族群(例如唯手機族)在態度上有很大的不同時,加權兩倍等於讓樣本的偏差更大〔註〕。

(123RF)

註:搜集到的資料究竟可不可靠,測量工具的好壞是重要關鍵。信、效度就是用來檢驗測量結果的品質,評估測量工具良窳的重要指標。簡單來說,信度是指測量結果穩定一致的程度。如果在重複測量後都能獲得類似的結果,即可稱為高信度。效度則是指測量工具本身能否測出我們真正想了解的概念。 舉例而言,如果我們想了解民眾具有多少政治知識,卻詢問受訪者的教育程度,就不是這麼恰當了。高學歷者雖有專業以及較好的資訊處理能力,卻未必理解、熟悉政治事務,並不符合我們對高政治知識者的認知,此時以教育程度來評估受訪者的政治知識,就是一個效度較低的測量方式。

此外,由於市話調查中的年輕樣本數太少,我們在解讀年輕選民的態度時須更注意,畢竟若存在少數幾個極端的樣本,加總起來後就有可能讓整群年輕選民的態度產生相當大的偏誤,加權後甚至影響全體民眾的估計,不可不察。

另外,市話調查的抽樣單位是「戶」,並不是「個人」。在成本考量下,目前坊間已很少有調查會進行戶中抽樣,多半採任意成人法,即接聽電話者就是年輕族群比例過低時,加權數據會帶來什麼問題? 受訪者,而不再從家戶中再抽出特定個人來回答問題。這等於假定每戶中所有人接電話的機率是一樣的,但顯然這樣的假定在人人有手機的情況下更不切實際。畢竟許多人(特別是年輕族群)就算家中有市話,也是以手機為主要對外聯繫工具,幾乎不會接起家中市話。因此,市話調查的涵蓋率不足,已是目前調查界共同的隱憂,但在成本的考量下,能夠改善的空間相當有限。就算加入手機調查來解決市話調查涵蓋率的問題,也有很多限制與作法上的差異。

目前還有一種常見的「雙底冊調查」,往往是市話、 手機各打一半的樣本數,加總起來後再加權。然而,這樣的作法其實並沒有理論依據。試想,有大約六成的民眾同時有手機及市話,他們被抽到的機率和只有市話或只有手機的民眾是不一樣的。再加上手機使用者和市話使用者接聽電話的機率,又與諸多人口變數(包括性別、年齡、教育程度)相關。所以,兩種樣本間存在的諸多差異,都使得雙底冊調查的事後加權方式更加複雜。目前不論是學界或是實務界,仍未找到「最佳」或是「標準」的樣本合併模式來解決上述問題,只是在不同的理論假定及成本考量下,因地制宜找出相對「較佳」的樣本配置模式。

年輕族群比例過低時,加權數據會帶來什麼問題?
舉例來說,假設某調查單位經過隨機抽樣程序,透過電話調查訪問了1000位受訪者後再依年齡加權, 結果如表一。
加權前,有57%的民眾對於某個政策表示贊成,43%的民眾表示反對。但其中問題顯而易見:60歲以上受訪者的比例多達40%,
年長者又多持贊成態度,20~39歲年輕族群的態度則被低估,因為樣本比例僅為母體的一半。透過加權重新調整分布比例後,
20~29歲及30~39 歲不贊成者分別從5%、6%增為10%、12%,加總後有51%的民眾表示不贊成這項政策。加權前後雙方從快六成的民眾贊成轉變為正反各半的兩極分布。此外,假設這次接受電話訪問的是少數年輕受訪者,對於該政策多抱持不贊成態度(表二),
則加權後造成的偏差顯然會更大:即20~39歲年輕族群在表一中不贊成的比例有22%,表二加權後增至30%。加總起來後,整體態度從正反各半的兩極狀態,轉為57%的民眾持反對態度。換言之,加權無法解決特定族群所造成的偏差,研究者必須注意。

網路調查也存在抽樣疑慮?

除了電話調查之外,由於網路的普及,網路調查近來也蔚為風潮。不過,即便使用網路做為調查工具, 方法上仍有許多差異。最顯著的地方就在於是否有「抽」的過程。以筆者在政大選舉研究中心所主持的網路調查平臺「線上調查實驗室」(Pollcracy Lab)為例,每次調查都是從原本建構好的受訪者名單中抽取,而受訪者名單則是透過電話調查搜集而來。意指並不是想參加這個調查平臺就可以參加,而是事先在電話調查所「抽中」的樣本。當然,參與這個調查平臺的受訪者還是有某種程度的「自願性」(例如大約每4~5個電話調查受訪者才會有一位願意加入網路調查平臺),並非全然的隨機樣本,但至少還是有「抽」的程序。

雖然目前坊間也有類似的「類隨機樣本」(pseudoprobability sample)網路調查,但多數的網路調查仍屬於自願性樣本,調查結果的參考價值也就不高,畢竟若無法使用樣本結果來推論母體,頂多只能當作宣傳噱頭或增加網站流量。例如,一些新聞入口網站所做的調查,請網友點選支持哪位候選人,然後幾個小時後公布結果。這種調查就只有新聞性,許多時候根本是發動「機器人」在網站上重複點選,此結果完全無法用來推論究竟哪位候選人是真的領先。

坊間還有一種結合手機及網路平臺的調查方式:先以手機號碼抽樣,然後以簡訊通知被抽中的潛在受訪者,要求他們透過特定連結上網填寫問卷。這種調 查雖然是以網路做為調查工具,但還是有「抽」的過程,也就是利用手機號碼進行抽樣。不過可以想像,會點取簡訊然後上線填答者,還是存在某種程度的「自願性」。目前幾乎沒有這種調查方式的相關研究,因此仍無法得知這個方法的樣本偏誤程度有多大。由於調查方式不同,這類調查結果和傳統電話調查結果是否可以直接拿來比較,顯然有不小的疑慮。

(123RF)

理解民調限制才能謹慎解讀結果

民意調查雖然是以科學的方法探究民意,但實際執行時的諸多限制,勢必影響民調數字的準確性。同時,候選人在民調中的支持度並無法完整地反應最後的選票數,畢竟態度與行為間仍存在一定的落差, 支持者不見得最後一定會去投票。也因此就算是選前最後一天所進行的民意調查,調查結果也不必然就能預測出最後的選舉結果。

(123RF)

 

民調數字仍然有助於我們了解候選人之間概括的競爭態勢,但各項偏誤勢必存在,因此在細部解讀時就需要特別小心,細微的差距不應該被過度放大。此外,民調機構也應本著誠信原則,忠實地呈現各項數字產出的經過,並說明資料處理的步驟及方法。 因此,不論是何種民意調查,都不應該被視為是產出數字的黑盒子,更沒有哪個民調數字是大家都可以信賴的「標準答案」。唯有了解民意調查的各項限制,才能以更全觀的視角解讀民調數字背後所呈現的民意。