■ - kermitonphd’s diary

Twitterの雰囲気からダウ平均の終値DJIA(Yahoo!ファインスから情報入手)を予測する論文。
Twitter mood predicts the stock market
Johan Bollen, Huina Mao, Xiao-Jun Zeng (Submitted on 14 Oct 2010)
P/N(ポジネガ)の手法[OpinionFinder]と、
６次元(Calm, Alert, Sure, Vital, Kind, Happy)の手法[Google Profile of Mood States]。
後者の方は、心理学手法で、それをGoogleが拡張したものらしい。
2008年2月から12月のデータセットで、9.7M tweet、2.7M usersからの結果。
必要情報だけをそこから取り出して時系列を作り、実際のDJIAの時系列と相関を比較。

単純な線形関係での回帰(Granger Causality Analysis)よりも、
学習させたSelf-Organized Fuzzy Neural Network modelの方が結果が良い。
最高の予測結果(Up/Downの正解率)87.6%は、６次元のうちの3日前までのCalmを使ってSOFNNで得られた。
ただし、エラーを細小にする1.79%は上のモデルにさらにHappyまで入れたときに得られる。

ただ、よく見ると過去の価格のデータもインプットにあり、その係数が明記されていないのが怪しい。
結果で得られたの「数」の意味等にも特に言及されておらず、ひたすらp値がよいものを探す感じ。

データの前処理を丁寧にしていて、そこを割と丁寧に書いていていること、
大統領選やThanks givingなどの大きなイベント時には、予測が困難になること、
Discussionで"we have no knowledge of the ground truth for public mood"と議論して、
あくまでも現象の一端に触れたにすぎないことに言及していることは好感が持てた。

wiredでの紹介文