■

Star Quality: Aggregating Reviews to Rank Products and Merchants
M. McGlohon, N. Glance, and Z. Reiter
Proceedings of the Fourth International AAAI Conference on Weblogs and Social Media

Googleの方々が，異なるサイトにおける商品の「真の価値」について探る，という論文．
異なるサイトということは，1−5段階評価もあるし，ABCで評価する場合もある．
レビュワーも匿名希望から，多数のレビューを行っているカリスマレビュアーもいる．
ということで，そういう混沌とした状態から真の価値を探る．
いろいろなモデルで結果を比較検証したところ，シンプルに平均順位づけした場合と，匿名レビュアーを除いた場合や，下限閾値をもうけて処理した場合，(レビュアーたちの評価が真の価値の周りに散らばっていると仮定して)最尤推定した場合とほとんど差がでない，とのこと．
比較の方法は，任意の2つの商品についてどちらの商品の方が評価が上か，その正解率で決めていて，ランダムなら当然50%だが，他の中央値以外のモデルの結果は65-70%程度であった．
中央値の場合は50%弱くらいであまりいい結果は出ない．
また，商品も映画と通常のプロダクトと差はない．

と，いうことで結論としては，現状のサイトがよくやっているように平均をすればおよその真の価値が分かる，ということ．
カリスマレビュアーの意見やら，ノイズ処理，重み付けもあまり意味ないよと，いう結論．