現代は,衛星からスマートフォンまで大小のソースから,さまざまなデータが絶えまなく集められています.検索サイトのgoogleやyahooにはビッグデータが蓄積しています.(※wikipedia によると「ビッグデータ」とは、市販されているデータベース管理ツールや従来のデータ処理アプリケーションで処理することが困難なほど巨大で複雑なデータ集合の集積物を表す用語)ビッグデータの様々な利用法やそのための解析法も急速に発展しつつあります.
従来の世論調査は,RDD(無作為抽出)と呼ばれる電話によるアンケート形式が主流ですが,先日,yahooのビッグデータを用いた参院選挙当選予測が発表されました.それによると改憲勢力が2/3に達しそうな情勢と言います.
http://docs.yahoo.co.jp/info/bigdata/election/2016/01/ ユーザーがwebサイトを渡り歩き,あるサイトで買い物をしたとします.そこに導いた各webサイトの貢献率は如何様なものでしょうか?googleの各webサイトのレイティングはどのように計算しているのでしょうか?
サイト間の遷移確率を成分とする遷移行列(※)を作り,この行列を各サイトの状態に作用させた結果,各サイトの状態は新しい状態に変化します.何度も遷移が繰り返され,状態が収束するなら,それが各webサイトの貢献度,ランキングです.
※遷移行列とは? 各webサイトを頂点とし,頂点間の遷移を矢印で表すと,「有向グラフ」ができます.サイト間の遷移確率をこれに書き込むと「遷移行列」になります
さて,選挙の当選予想の話に戻りますが,Amazonの「これを買った顧客はこれも買う」のような推薦システムや,企業が集めたデータから,顧客の行動の予測がなされ、いろいろなカテゴリーのデータが混在していますが,クラスタリングや最隣接クラス分けのツールを用い解析が行われます.投票行動の予測もこれに類似したものでしょう。
今回のyhahooの参院選の選挙予測の場合、ビッグデータをどのように解析したのかわからないので,何とも言えませんが,推測には過去のデータと合う経験値を用います
http://searchblog.yahoo.co.jp/2012/12/yahoobigdata_senkyo.html 検索,広告,ショッピングなどさまなカテゴリのビッグデータを分類し,目的量に相関のある項目の寄与を重みづけをし重畳(投影法と呼ぶらしい)しています.こうして得た各候補者の注目度という量を当落の評価関数にしているのです.
何故,個々の項目と得票が相関があるのか,それらの重みづけの意味も説明できませんが,過去のデータと合うように定めた経験値です.因果関係の筋が通っていないので正しさの証明はできませんが,複数の因果関係が絡み合った“複雑系の世界”とはそういうものでしょう.<<地球のどこかで起きた蝶の羽ばたきが,後日離れた地でハリケーンの進路を変える原因になるかもしれない>>という“バタフライ・エフェクト”の世界です.それ故,思いもよらぬ項目の些細な変化で結果の逆転も起こり得るのです.
この選挙で実現した野党共闘などは過去の選挙戦にはなかったので,予測に使うデータは不足しているはずです.選挙戦がデッドヒート状態にある現実を見れば,結果は最後の最後までわかりません.投票に行きましょう.
谷克彦(数学月間の会 世話人) 東京大学教養学部基礎科学科卒業,玉木英彦先生のゼミでロシア語を学ぶ.結晶学,対称性が専門
■マスコミ各社・選挙前の世論調査の「支持率」は本当に信頼できるのか? サンプル集合の選び方で数字はまったく変わる 谷克彦(数学月間の会 世話人)
http://www.nikkanberita.com/read.cgi?id=201606181029266
■世論調査は正しいか? 検証レポート その2 谷克彦 (数学月間の会 世話人)
http://www.nikkanberita.com/read.cgi?id=201606302120084
■十年目の数学月間を記念して 谷克彦(数学月間の会・世話人)
http://www.nikkanberita.com/read.cgi?id=201507191723460
■トランス脂肪酸について 谷克彦(数学月間の会・世話人)
http://www.nikkanberita.com/read.cgi?id=201507301512374
■海洋への放射能流出 谷克彦(数学月間の会・世話人)
http://www.nikkanberita.com/read.cgi?id=201507171617005
■新国立競技場のキールアーチ 谷克彦(数学月間の会・世話人)
http://www.nikkanberita.com/read.cgi?id=201507131351431
■超ウラン元素アメリシウムの話 谷克彦(数学月間の会・世話人)
http://www.nikkanberita.com/read.cgi?id=201509160222293
■凍土遮水壁 谷克彦(数学月間の会・世話人)
http://www.nikkanberita.com/read.cgi?id=201602190855185
■ロシア語を学んだ頃 1 谷克彦 ( 数学月間の会・世話人 )
http://www.nikkanberita.com/read.cgi?id=201602222333011
■ロシア語を学んだ頃 2 谷克彦(数学月間の会・世話人)
http://www.nikkanberita.com/read.cgi?id=201602231241022
|