2004年11月11日 星期四

一千個樣本估計一億二千萬--美國總統大選民調的實際驗證

一千個樣本估計一億二千萬--美國總統大選民調的實際驗證

■蘇建州 (自由時報,自由廣場,931111日,15版)


美國總統大選雖然已經落幕,選舉期間國內媒體也十分關注這場選舉的過程與結果,包括選前民調與出口民調也都有很多的報導,然而這個號稱民調方法發源地,領導全球民調技術發展的民調到底準不準?

筆者在選前蒐集二十家美國主要媒體與專業調查機構,包括三大電視網、CNN、福斯、華盛頓郵報、紐約時報、洛杉磯時報、新聞週刊等的選前最後民調,其中有五家預測凱瑞會贏一至二個百分點,三家預測平手,另外有十二家的預測是布希贏一至六個百分點,而選舉結果布希贏凱瑞三個百分點。試想此次美國大選約有一億二千萬人投票,而上述民調多數都只有一千多個隨機樣本(介於八百至二千五百間)而已,誤差居然都能落在合理的「抽樣誤差」範圍內。除了普選得票率的預測外,由於美國特殊「贏者全拿」的選舉人票制度使得各州勝負的預測遠比普選得票率的預測更為重要,為了能客觀的觀察各州的民調預測是否準確,筆者在選前根據各州主要民調預測分類,其中凱瑞在十六個州(二○二張選舉人票)明顯領先,布希在二十六個州(二二二張選舉人票)明顯領先,另外有九個州(一○九張選舉人票)的差距不明顯,判定為決定勝負的關鍵州或搖擺州,並在選舉當天透過網路一路監看開票的過程與結果,令人驚訝的是果然是如選前民調的劇本演出:凱瑞的十六個州與布希在二十六個州的勝出很快就被確定,而大多數的搖擺州,當然包括眾所矚目的俄亥俄州,也如預期的扮演著搖擺與關鍵的角色。

除了選前民調外,長久以來出口民調都是美國媒體仰賴大選結束後就能迅速預測勝負的重要依據,候選人也經常是根據出口民調結果,而不是開票結果,就宣布敗選或勝選,然而基於二○○○年佛羅里達州的出口民調失靈經驗,這次主要媒體對於關鍵州的報導都特別謹慎,但是仍有一些網站搶先報導關鍵州初步(尚未完成)的出口民調(前半場)結果,並預測凱瑞在賓州、佛羅里達州與俄亥俄州都領先布希,而這樣的訊息大大影響當時尚未收盤的美國股市與金融市場、油價、賭盤,乃至於布希與凱瑞兩人的心情。出口民調是不是再度出糗了?事後六大媒體與他們聯合出資的NEP(National Election Pool),也就是出口民調的執行機構立即檢討,發現造成初步出口民調偏差的原因是凱瑞的支持者傾向比布希支持者早到投票所、布希支持者比較不願意參與出口民調、以及提前投票和通訊投票的人數大幅增加,出口民調未涵蓋這些人,而這些人比較支持布希。而經過這樣的檢討後,相信類似的偏差應該不會在二○○八年出口民調重演。

民調是一種科學方法,因此禁得起實證的考驗,但仍需要不斷的改進其調查技術。在台灣,民調經常是「僅供參考」而已,曾經有候選人這樣批評:「民調是很不可靠的東西,白天問,晚上問,男生問,女生問結果都不一樣。」「民進黨在民調中有失蹤人口」,…事實上這些都是內行話,如果坐視這些偏差繼續影響民調準確度,結果就是民調繼續扮演「僅供參考」的角色。反之,或許有一天,在台灣爭議性的議題或公共政策是透過民調取得共識,而不是耗時的公投;當下午四時投票所結束投票後,四時一分就有候選人根據出口民調結果宣佈落選或當選,此外民調還有更多可以扮演的角色,然而前提是大多數民眾要能夠相信專業的民調用一千個樣本估計一三○○萬個投票選民。(作者蘇建州╱世新大學傳播管理系副教授)

2004年8月5日 星期四

連七摃機率=下期摃龜機率?聰明的行銷學---高額彩金+幾乎保證頭獎開出+免費的媒體廣告與宣傳=彩券再次大賣

連七摃機率=下期摃龜機率?聰明的行銷學---高額彩金+幾乎保證頭獎開出+免費的媒體廣告與宣傳=彩券再次大賣

蘇建州/世新大學傳播管理系副教授(台北市)


出處: ◎連七摃機率=下期摃龜機率? - 羅惠光先生開講 - udn城市 http://city.udn.com/125/1023067?tpno=-1&cate_no=0#ixzz1k4Mo83sQ
【2004/08/05 聯合報】


已經五連摃的大樂透,八月二日開獎當天在北銀宣稱開出頭彩的機率在百分之九十五以上,搭配媒體大幅的報導,果然是造成熱賣,總銷售額衝破九億五千萬元(其中約有九成是在八月二日當天銷售),成為大樂透史上單期銷售最高記錄。結果「居然」是再度摃龜,北銀宣稱是被電腦打敗了,但筆者卻認為是被北銀聰明的行銷學與錯誤的機率學所打敗。

如今北銀再次透過媒體放話:下一期樂透再摃龜的機率大概百分之二左右,有百分之九十八的可能會開出來。其實,這正是北銀在多次摃龜後慣用的拉抬樂透買氣的行銷公式:

高額彩金+「幾乎」保證頭獎一定會開出來(機率百分之九十八以上)+免費的媒體廣告與宣傳=彩券再次大賣。

筆者很有興趣想知道北銀是如何計算摃龜的機率,我猜測北銀引用的是「連六摃」或「連七摃」機率,而不是「下一期摃龜」的機率;如果果真如此,那恐怕有違反公平交易的法律之虞了。所有因此聽信北銀摃龜機率只有百分之五、百分之二而購買彩券的民眾,或許可以控告北銀提供錯誤商業訊息訛詐,訴請交易無效。

其實,計算大樂透四十九選六摃龜的機率並不困難,而由於部分下注者選了一些相同的熱門號碼或是包牌,因此摃龜的機率還會高些。事實上,北銀在八月二日開獎後宣稱有高達百分之三十三的號碼組合沒有賣出,也就是當天的正確摃龜機率是百分之三十三,不是百分之五。

在此筆者要提醒彩迷們,摃龜或頭彩開出機率的計算基礎是所有號碼都是隨機出現(電腦選號),然而因為許多人會包牌或選了共同認知的熱門號碼,所以正確的摃龜機率應該是以未賣出的號碼組合比例為準。

另外,如果你相信機率學,筆者的建議是,最笨的人才會包牌或是選了一堆熱門號碼,因為每一組號碼中獎率都是千萬分之零點七,但是別人中頭彩很可能是獨得或二至三人分享,而你的頭彩卻恐怕得跟許多人一起分食。

2004年3月9日 星期二

全民公評民調

全民公評民調

◎蘇建州

2004.03.09 中國時報

根據總統副總統選罷法第四十七條的規定:政黨及任何人或法人代表不得於投票日前十日內發布選舉民調,也因此,三月九日便是合法公布民調數字的「黃金時間」,各家民調必然會爭相公布他們的選前最後民調。

然而對於大多數民調新聞的消費者而言,除非有能力分辨這些媒體民調的可信度,否則這些大量良莠不齊的民調資訊同時出現,只會使他們消化不良,無所適從。

筆者認為選舉調查與預測是民調機構最重要的戰場,原因是大多數的調查,如收視率、發行量、滿意度等,並不會有真正答案,也無從評價調查結果的準確性。然而透過選舉結果的檢驗,這些民調機構的良窳將無所遁形。

二○○四年總統選舉的四位候選人都是二○○○年總統選舉中的老面孔,因此很多四年前的言論與行為都被對手挖出來檢驗。然而卻很少有人會記得這些老面孔的民調機構在二○○○年的表現如何。原因是雖然民調在選前是眾所矚目的焦點,在選後卻沒有人去評量他們。

筆者曾思考過該如何公正、客觀、正確評量這些選前民調的表現,然而卻遇到一些困難。主要是媒體所揭露的大多是「選舉調查」,其中包括二至三成的未表態選民。因此並不是選舉(得票率)預測。試想在某民調中宣稱甲候選人支持度四○%,乙候選人支持度三○%,未表態三○%。雙方差距一○%。倘若選舉結果是甲候選人得票率四○%輸了選舉,你認為這民調準不準?又假設選舉結果是甲候選人得票率五五%,乙候選人得票率四五%,雙方差距一○%,你是否會認為這是一個完美的(perfect)民調?

在美國,有許多民調機構都宣稱有自己的獨家秘方(模式)來預測未表態選民的投票行為。提供選舉預測是民調機構的專業,也是責任所在,而且這才是大多數民眾最感興趣的資訊。如果民調機構所作的只是成功完成隨機抽出的一千多個電話住戶,然後計算各候選人支持度,未表態比例等低專業性的工作,這樣的民調機構終將成為沒有競爭力的傳統產業。此外,也惟有能持續改善調查與預測技術者才有機會在這產業中脫穎而出,贏得專業聲譽與尊敬。因此,筆者呼籲民調機構都能提供選舉預測,一方面滿足大眾真正的興趣,另一方面也有助於選後民調表現評量。

最近坊間有許多預測三二○當選者得票數、得票差距……等「業餘級」的選舉預測活動或賭盤,好不熱鬧。然而筆者也樂見有好事者在合法發佈民調數字前,為這些「職業級」的民調機構搭建一個競賽舞台,並在選後進行公評。例如預測得票率誤差在二%內為A級,二至五%為B級,五%以上不及格,未來規定媒體在公布民調時必須註記該機構過去選舉民調表現的評級。

如此,相信民調機構必定會拿出看家本領,賣力演出,而民眾也因此獲得較高品質的民調資訊。至於那些經常提供離譜、不準確民調的機構也終將被淘汰,而有助於解決國內民調的亂象與怪象。否則,試想在二○○八年總統選舉時,有誰會記得那些曾在二○○四年出糗的民調機構?

(作者為世新大學傳播管理系副教授)

2004年1月6日 星期二

民意調查的兩個迷思

民意調查的兩個迷思

作者◎蘇建州

2004.01.06 中國時報

愈接近總統大選,各個機構所做的民意調查此起彼落,數字也各有不同。預計在選前陸續還會有上百個民調發表。你相信那家機構或那一次的民調結果?我們又可以依據什麼標準來判斷民調的可信度?

回溯在過去幾次選舉中,民調的整體表現可以說是「慘不忍睹」,然而「民意調查產業」卻仍在經濟不景氣中蓬勃發展。即使很多人質疑這些經由黑箱作業所產製的數字的品質,但也別無選擇的大篇幅報導與討論這些數字。民意調查到底是不是一種科學方法?為什麼民調預測與選舉結果間的誤差經常會遠超出所宣稱的「在百分之九十五的信心水準下的二至三個百分點的抽樣誤差」?相信這是許多民調新聞消費者共同的疑惑。

一九三六年美國文學文摘(Literary Digest)進行了一次規模空前的選舉民調,他們根據電話號碼簿與汽車註冊資料共郵寄了一千多萬份的問卷,其中回收兩百多萬份問卷結果是Landon 五十五%, Roosevelt 四十一%;而同時間蓋洛普民調使用較科學的抽樣方法,只根據一千多個樣本資料估計 Landon 四十四%, Roosevelt 五十六%。選舉結果Roosevelt以六十一%得票率當選總統。而文學文摘在兩年後停刊,蓋洛普民調則因此建立其專業調查的聲譽,至今仍不墜。

上述事件是民調發展史上很重要的里程碑,根據蓋洛普在一九三七年所進行的選後民調發現:固然家中沒有電話或汽車的選民較傾向支持Roosevelt,他們沒有機會受訪是造成民調偏差的重要原因外(稱為涵蓋率誤差),而那些收到問卷卻沒有寄回所造成的「未回應誤差」才是影響民調準確度的主因。

反觀在台灣媒體民調中好像很少關心「未回應誤差」對民調準確度的殺傷力,筆者認為,我們實應以文學文摘的慘痛經驗為殷鑑。事實上,完美的電話民調應該是成功聯繫與訪問「所有」在過濾非住宅電話、空號、傳真機等無效號碼後的「原始樣本」,不能有任何替代樣本。

不幸的是根據筆者的瞭解,大多數的民調都只成功訪問約三十五%的原始樣本(其中約有二十五%拒訪,二十五%不在家,十五%未表態),然而這些影響民調品質甚鉅的數字卻不會出現在民調報告中。

筆者也發現最近的某些民調為了彌補「遺漏」原始樣本對民調準確度的影響,紛紛使用各種加權變數,諸如性別、年齡、省籍、教育程度、戶籍等來調整樣本結構與民調結果。然而如同蓋洛普選後民調所顯示:同樣是家中有電話或汽車的選民,願意回應與不願意回應的受訪者的政治態度傾向有很大的差異。我們實在沒有理由認為那些晚上在家且願意接受訪問的年輕人和晚上不在家,或拒訪的年輕人會有相同結構的政治態度傾向。

筆者認為「大樣本數」與「濫用加權估計」是國內選舉民調的兩個迷思。最近許多民調機構競相擴大樣本規模,從一○六八增加為一○○○○個(抽樣誤差從三個百分點減少為一個百分點),試圖增加民調的可信度,殊不知未回應誤差的「殺傷力」可能會高達二十個百分點。雖然加權估計確實改善樣本結構,但過份迷信加權估計的效果也可能適得其反。

事實上,給民調工作者的忠告是:最好的方法也就是最笨的方法,老老實實的電話重撥追蹤,重質不重量的儘可能訪問大部分的原始樣本。筆者希望有一天能看到一則民調報告所強調的是使用科學抽樣方法,原始樣本有很高的聯繫率與合作率。那就對了!

(作者為世新大學傳播管理系副教授)