これから選挙に突入します．世論調査，ビデオリサーチ，こういったものがどれほど正しいのか疑問に思っています．自分は聞かれたことがないのにどうして意見が反映されるのか？わずかなサンプル集合で行った統計的推論が母集団の性質になるのか？素朴な疑問ですが，やはり根拠のない不安ではなかった．これらの前提にはランダムサンプリングであることが必要ですが，誰もランダムサンプリングがなされたことを保証できません．
実際に偏ったサンプリングが行われて（意図的ではなかった）予測が外れた例が昨年の英国総選挙でも起きました．意図的に偏ったサンプル集合や小さなサンプル集合を採用することも可能で，世論操作は可能です．出された数値は独り歩きします．メディアのコメンテータは，世論調査で出た政党支持のわずかな変化を過剰に解釈する傾向があり，証拠が推論をサポートしていない（統計的に有意でない）のに，公衆に党の運命が変わってきたと印象づけている．何ポイント支持率上昇とかいうが，そのような変化を起こす因果関係を説明できる事実実績があるのか私は問いたい．
以下、前回の掲載分を再掲載いたします。
「外れた世論調査」 谷克彦（数学月間の会 世話人）
アメリカの視聴率調査会社ニールセンが，機械による視聴率調査をスタートさせたには1961年．日本も1962年9月にビデオリサーチが設立され，12月より機械による視聴率調査が始まりました．（ビデオリサーチは電通系列）
関東，関西，名古屋の3つの地区では，それぞれ600世帯にピープルメーターPMと呼ばれる装置がテレビに取り付けられ，分ごとのデータが蓄積・送信されています．このシステムはPMシステムと呼ばれます．この他に，オンラインメーターシステムというものがあり，全国に24地区（各地区の200世帯）で実施されています．
http://www.videor.co.jp/rating/wh/03.htm
例えば，関東地区には15,000,000世帯ありますが，そのうちから選ばれた600世帯だけが調査の対象になります．
全対象（母集団）の調査をするのが正確なのですが，実際には，“選ばれた”（サンプル集合）について調査をします．全対象の調査（全数検査）は，国勢調査などの限られた調査だけです．そして，統計量の解析は，サンプル集合について実施します．それが意味を持つ根拠には，サンプル集合は母集団の性質を代表しているということが前提にあります．つまり，サンプル集合の作り方が，ランダムサンプリングによるということが前提にあります．しかし，それがランダムサンプリングであるかどうか誰も保証できない．無作為に細心の準備をして実施しても，サンプリングにバイアスがあり，サンプル集合に偏りがあることはしばしばあります．2015年の英国総選挙で起こった外れた世論調査の原因研究報告については後述します．
ビデオリサーチのサンプル数は，如何にも少ない感じがするでしょう．サンプル数600は母集団の1/25,000（抽出率）です．ところが，標本誤差（600世帯のサンプル集合で解析した統計量の母集団の統計量からのずれ）は，視聴率10%（90%）では±2.4，20%（80%）では，±3.3，30%(70%）では±3.7，40%(60%)では，±4.0%,50%では±4.1％です．大きな母集団に対して，意外に少ないサンプル数でよい解析ができることになり，これが現在実施されている根拠です．
しかしながら，サンプル集合が母集団を代表している（ランダムサンプリングである）という保証はありません．これらの議論はランダムサンプリングでなければ崩れてしまいます．そして，サンプル数が少なければランダムサンプリングから外れる危険性は増加すると言わざるを得ません．私たちの感覚的な心配はいわれのないことではありません．
今年は選挙の年です．まだ一票も開票していないのに当確が出たりしたこともありました．自分は意見を聞かれたこともないのに，結果が決まっている．とても不愉快に思うのは私だけではないでしょう．無力感に襲われます．その手法としては，出口調査や，開票状況のデータからレィテングの予測をする方法と同じで，種々のデータが集まり予測精度は向上しています．
■世論調査
さて，世論調査に話を戻します．世論調査を鵜呑みにしてはいけません．世論調査のためのサンプル集合は信用できますか？母集団からサンプル集合を作るのに，意見を聞く集団が偏っていることは良くあります．すると，母集団を代表しない偏ったサンプル集合になります．
ランダムサンプリングであるのが前提ですが，世論調査ではランダムサンプリングであるかどうか事前に判定できません．昨年６月の英国総選挙ではそのようなことが起こり保守党と労働党の票獲得は，予測された「統計的デッドヒート」が実現せず，保守党が労働党に対し7ポイントの優位で下院の多数を勝ち取りました．選挙直後に，外れた世論調査の原因研究が英国世論調査会議BPCと市場調査協会MRSによって立ち上げられ，2016年3月に報告書（120ページの長文）が出ました．この報告書は大部のため，本稿への引用は，Tarranによる報告書の解説によります．
報告書によると「サンプルが母集団を代表するものでなかった」ことが，世論調査ミスの主原因であるというのです．世論調査組織が使ったサンプル補集の方法が，労働党有権者を過剰に，保守党有権者を過少に系統的に集め，適用された統計的調整手順も，これらのエラーの低減に効果がなかったという．報告書が勧告する改善提案は，将来起こりうる世論調査ミスのリスクを低減するが，リスクそのものを取り除くものではないことに注意しよう．
世論調査では，今後も非ランダムサンプリングを使用せざるを得ない．ランダムサンプリング（確率的サンプリング）は，実行するのに，費用と時間がかかる．しかし，非ランダムサンプリング（非確率的サンプリング）に比べて明らかに優れている．非確率的サンプリングではサンプルに偏り（バイアス）が生じ易いのだ． 回答者がランダムに選択されるなら，母集団のすべてのメンバーに，調査参加者となる一定のチャンスがある．これ自体は，得られたサンプルが，母集団の完全な代表であると保証するものではないが，選択のランダム性は，代表されるグループの外部/内部を調整するためのサンプリング理論の適用を可能にする．また，サンプルへ自己選択される可能性を下げ，回答者の採用過程で，バイアスがかかるリスクを軽減できる．
研究報告書を読んで失望する読者もいるでしょうが，失望が畢竟実用主義への道を与え，世論調査の難しさと不確実性を理解することになります．母集団でなくサンプルで解析するのだから限界があります．世論調査は将来起こるかもしれない行動について，有権者のようなよくわからない母集団を調べるので苦しい闘いに直面しています．世論調査の実施方法の高い透明性と，その推定の不確実性レベルを明確に伝える責任があります．それぞれの政党の支持率の信頼区間と前回公開世論調査に対するそれぞれのシェア変化の統計学的有意差検定を合わせて報告することを報告書は勧告しています
メディアのコメンテータは，世論調査で出た政党支持のわずかな変化を過剰に解釈する傾向があり，証拠が推論をサポートしていない（統計的に有意でない）のに，公衆に党の運命が変わってきたと印象づけるのです．このようなことは避けるべきです
https://www.statslife.org.uk/politics/2752
谷克彦（数学月間の会 世話人）
東京大学教養学部基礎科学科卒業，玉木英彦先生のゼミでロシア語を学ぶ．結晶学，対称性が専門
※Opinion polls failure at 2015 election 'due to unrepresentative samples'（英テレグラフ紙の報道「２０１５年の英国選挙の世論調査はサンプル集合の選択で誤りがあった」）
Inquiry into pollsters' failure to forecast Conservative victory finds sampling methods may have resulted in too many Labour supporters being questioned
労働党支持者が過剰にサンプル集合に含まれていたため、世論調査と選挙の結果がまったくことなっていたことで、のちに検証が行われた。
http://www.telegraph.co.uk/news/general-election-2015/12107167/Opinion-polls-failure-at-2015-election-due-to-unrepresentative-samples.html
■十年目の数学月間を記念して 谷克彦（数学月間の会・世話人）
http://www.nikkanberita.com/read.cgi?id=201507191723460
■トランス脂肪酸について 谷克彦（数学月間の会・世話人）
http://www.nikkanberita.com/read.cgi?id=201507301512374
■海洋への放射能流出 谷克彦（数学月間の会・世話人）
http://www.nikkanberita.com/read.cgi?id=201507171617005
■新国立競技場のキールアーチ 谷克彦（数学月間の会・世話人）
http://www.nikkanberita.com/read.cgi?id=201507131351431
■超ウラン元素アメリシウムの話 谷克彦（数学月間の会・世話人）
http://www.nikkanberita.com/read.cgi?id=201509160222293
■凍土遮水壁 谷克彦（数学月間の会・世話人）
http://www.nikkanberita.com/read.cgi?id=201602190855185
■ロシア語を学んだ頃 １ 谷克彦 （ 数学月間の会・世話人 ）
http://www.nikkanberita.com/read.cgi?id=201602222333011
■ロシア語を学んだ頃 ２ 谷克彦（数学月間の会・世話人）
http://www.nikkanberita.com/read.cgi?id=201602231241022
|
