OIU 分析ダッシュボード

総得票と、一件あたりの支持を分ける

Aさんは20票、Bさんは40票。数字だけを見ると、Bさんのほうが多く支持を集めています。では、Bさんの回答はAさんの回答の二倍面白かった、と言ってよいでしょうか。

ここで一度、何を比べたいのかを確かめます。期間中に集めた票の量なのか、一つの回答が集めた票なのか、複数の回答に支持が広がったかどうかなのか。問いが違えば、使う数字も変わります。 まず、二人の回答数を加えてみます。

この記事の人数・回答数・票数は、計算を説明するための架空データです。OIUの実際の回答者や成績を示していません。

総得票はBさんが多い。一方、回答1件あたりの得票はAさんが多い。投票がついた回答の割合では、Bさんが高い。計算はどれも正しく、表していることが違います。

総得票 ÷ 回答数は、集計対象の回答1件あたりに何票ついたかを表します。投票がついた回答数 ÷ 全回答数は、少なくとも1票を得た回答の割合です。 後者は、閲覧した人の何割が投票したかを表す数字ではありません。分母は閲覧者数ではなく、回答数だからです。

どれか一つを「本当の実力」として選ぶより、「量を見たい」「一件あたりを見たい」「支持が広がった範囲を見たい」と、問いを先に置きます。

平均が隠している、票の付き方

今度は、二人とも10回答で10票だったとします。

平均は同じでも、記録の中身は違います。一つの回答が強く支持された人と、いくつかの回答で票を得た人を、平均だけでは区別できません。

ただし、この一回の記録から前者を「一発屋」、後者を「安定型」と決めるのも早すぎます。別のお題や別の回では違う結果になるかもしれません。表が示しているのは、その集計範囲での分布です。

自分の結果を見るなら、平均の横に、票が集まった回答の本文を置いてみます。一つの言い回しが特に届いたのか、異なる発想でも届いているのか。数字で気づいた違いを、内容へ戻して読むのです。

0票からは、理由までわからない

投票がなかった回答には、いくつもの可能性があります。読まれる機会が少なかった、意味が伝わらなかった、伝わったが好みに合わなかった、好きでも投票には至らなかった。票数だけでは、その内訳はわかりません。

もし回答ごとの閲覧機会がわからないなら、閲覧者あたりの投票率は計算できません。投稿時刻と得票に差が見えても、それだけで「この時間に投稿すれば伸びる」とは言えません。 投稿する人、回答内容、お題、公開後の経過時間なども違い得るからです。

これは数字を使えないという話ではありません。数字が答えている問いと、まだ答えていない問いを分けることです。0票という記録は確認できても、0票になった原因は追加の情報を必要とします。

他人の評価が見えるとき、何が起き得るか

Muchnikら（2013）は、ニュース集約サイトのコメント評価を用いた無作為化実験で、最初に加えられた評価が、その後の利用者の評価行動に影響することを示しました。正と負の評価の影響は対称ではなく、話題などにも依存しました。

また、Salganikら（2006）は、知られていない曲を選ぶ実験市場を作り、他の参加者の選択が見える条件で、成功の偏りと予測しにくさが強まることを報告しています。

どちらもOIUの投票を調べた研究ではありません。投票前に他人の評価が見えるか、何を選ぶ仕組みかなどの条件が違えば、そのまま当てはめられません。 それでも、集まった票を「作品だけの性質が透明に映った値」と考えないための手がかりにはなります。

比べる前に、分母と期間を見る

別々の回や回答者を比べるときは、最低限、次の四つをそろえて読みます。

1. 1

   集計対象——全回答か、特定のお題だけか。未公開の評価を含むのか。

2. 2

   期間——回答期間や、投票が集まるまでの経過時間は同じか。

3. 3

   分母——回答数、参加者数、日数の、どれで割った数字か。

4. 4

   件数——1件中1件と、100件中100件を、同じ確かさで扱っていないか。

このダッシュボードにも、総数に加えて、1人あたり・1日あたりの指標や投票あり回答率が用意されています。 たとえば1日あたりに直せば期間の長さは調整できますが、参加者数やお題の違いまで消えるわけではありません。

また、投票と、別の基準で付く評価・得点は区別します。名前が似ていても、何を数え、どう計算しているかを確認してから比較します。

数字から、次に読む一件を選ぶ

実際に画面を見るときは、順位を眺めるところから、一歩だけ進んでみます。

1. 総得票が増えた回答数も増えたのか。
2. 平均が上がった特定の一件に票が集中したのか。
3. 投票あり回答率が上がったどんな種類の答えに票がついたのか。

こうした問いを持って本文へ戻ると、数字は読むための入口になります。集計だけで面白さの結論を出すのではなく、気になった回答を読み直し、自分がどこで笑ったかと照らし合わせる。その往復が、このサイトの楽しみ方の一つです。