Retrieval task calculate Recall@k

《检索Recall@k的计算脚本》

检索任务的评估指标是召回率，我们不光要看Recall@1也要看下Recall@3及Recall@10等，看下排序有多少空间，记录一下训练过程中对positive pair 计算 Recall的脚本；基于numpy

• 我们默认 query 和 doc 是一一匹配的 positive pair

• query shape -> (n, c)

• doc shape -> (n, c)

• query.dot(doc.T) shape -> (n, n)

• 内积计算的相似度矩阵对角线上是正样本其余都是负样本

  def top10_recall(query, doc, n):
  # 这里的 query 和 doc 都是单位向量
  top_ten = np.array([0] * 10) # 记录 top_ten 个数的列表
  # measure accuracy and record loss
  query = query.detach().cpu().numpy()
  doc = doc.detach().cpu().numpy()
  sim_matrix = query.dot(doc.T)
  # 降序排序
  top_sim = np.argsort(-sim_matrix, 1)[:, :10].tolist()
  target = np.arange(n)
  # 计算top 1 到 top 10 的 recall
  for ii in range(n):
  for top in range(10):
  if target[ii] in top_sim[ii][:top + 1]:
  top_ten[top:] += 1
  break
  top_ten /= n
  return top_ten