レコメンドの評価指標

# 概要 https://arxiv.org/abs/1806.01973 で使用していた評価指標について述べる。 指標は二つ提示されていて、一つは「hit-rate」,もう一つは「MRR」とよんでいる。 # 設定 1. 観測データとして $(q,i)$ のペア群が与えられたものとして評価する。 ここで $q$ はユーザー、$i$ は薦めるアイテムを想定していて、$(q,i)$ は実際にユーザー $q$ がアイテム $i$ を購入(もしくはクリック) した場合に、このペアが観測されるものと想定している。観測される $(q,i)$ ペア全体の個数を $n$ とする。 2. 想定しているレコメンドシステムは、各ユーザー $q$ に対するアイテム $i$ のスコア $s(q,i)$ が計算されるものとし、このスコア $s(q,i)$ が現実に即しているかどうかを評価したい。 # hit-rate レコメンドシステムにおいて各 $q$ に対してスコア $s(q,i)$ が上位のものから順に、 $K$ 個のアイテムをとってくる。 この集合を $I_{q,K}$ とした時、 $$hit-rate = \frac{1}{n}\sum_q | I_{q,K} |$$ と定義する( $| I_{q,K} |$ は集合 $I_{q,K}$ の要素の個数)。これは $K$ に依存した評価であり、$K$ は実際にレコメンドする個数に依存して決めるのが良いと思われる。(ちなみに論文においては $K=500$ としている。) hit-rate の値が大きいほど、スコアと実際の購入(もしくはクリックなど)の結びつきが強いと評価できる。 # MRR $R_{q,i} $はスコア $ s(q,i) $ のユーザー $q$ における順位とする。 この時、 $$MRR = \frac{1}{n}\sum_{(q,i)}{ \frac{1}{\lceil R_{q,i}/K \rceil} } $$ と定義される。 順位が上がれば上がるほど(つまり数値が少なければ少ないほど)、MRR は大きくなる。 この指標は $K$ に依存した指標であり、$K$ はどの程度の順位幅は同じとみなすかというパラメータである。(論文では $K=100$ としている。) MRR の値が大きいほど、スコアと実際の購入(もしくはクリックなど)の結びつきが強いと評価できる。