ランク付けに関する相関

# 目的 レコメンドにおいて機械学習により各ユーザーに対して各アイテムのランク付けを行う。 条件を変えるとランクが変わるが、そのランクの相関を測ることでどれだけランクが変動したかを表す指標があると良い。 「A New Rank Correlation Coefficient for Information Retrieval」にそのようなランクの指標が示されているのでこれを元に記載する。 # Kendall’s tau Kendall の tau はそういった指標の古典的なものである。(1938年ごろ) https://ja.wikipedia.org/wiki/%E3%82%B1%E3%83%B3%E3%83%89%E3%83%BC%E3%83%AB%E3%81%AE%E9%A0%86%E4%BD%8D%E7%9B%B8%E9%96%A2%E4%BF%82%E6%95%B0 N 個のアイテムに対する二つのランク付けに対して、順位が入れ替わっていないペアの個数を K, 入れ替わっている個数を J とした時 $$tau = \frac{K-J}{N*(N-1)/2}$$ と表される。 tau は - 1 から 1 の間で 1 に近い方がより相関が高く、 -1 に近いと逆相関になっている。0だと無相関といった形。 例: 5 つのアイテム(A~E)に対して二つのランク付け X, Y が以下のようであったとする。 1, 2, 3, 4, 5 X: C, E, A, B, D Y: D, A, B, E, C この時、アイテムの組み合わせは (A,B) ,(A,C), (A,D) , (A,E) (B,C) , (B,D) , (B,E) , (C,D) , (C,E) (D,E) の 10 通りで、そのうち X, Y で順位が入れ替わっていないものは (A,B) の1組なので K=1 そのほかは入れ替わっているので J = -9 よって tau = -0.8 となる。 # AP correlation( average precision correlation) $$tau_{ap} = \frac{2}{N-1} \sum_{i=2}^N(\frac{C(i)}{i-1}) -1$$ ここで $C(i) $ は X のランクが i のアイテム1 と X のランクが i より上(つまり番号としては小さい) アイテム2 に対して、Y のランクにおける順位の大小が同じもののペア数