業務で最近は検索プロジェクトに参加していて，そこで「検索システム - 実務者のための開発改善ガイドブック」の輪読会をしているので，今日はそれの9章を読んでいきます！

9.1 検索システムの精度評価

精度を測る方法として，オフライン評価とオンライン評価がある

• オフライン評価

  • 検索クエリを投げた時に予め用意したドキュメントが検索結果の上位に表示されるかを評価する方法

  • 手元の環境で確認する

    

• オンライン評価

  • 検索クリックなどのユーザー行動によって検索システムの精度を評価する方法
  • 実際にユーザーが利用する

  

9.2 オフライン評価

評価する検索クエリとその検索クエリに対応する複数のドキュメントを用意する必要がある

• 検索クエリ
  • 実際にユーザーが使ったクエリを検索ログとして保存しておきそれを使う

これは検索エンジンを改善するために必ず必要になるので貯めておかないとね．これを使って辞書の整備と改善にも役立つので大事．あとはクエリとそれに紐づくドキュメント数も取っておくと，ゼロ件ヒットの改善にも繋げられると思った．

• 検索クエリと関連度を紐付けたドキュメント
  • 検索クエリの検索結果として返されるドキュメントの上位
  • 検索クエリに対してユーザーに実際に提示されたもの

クエリ⇄ドキュメントの関連性をガイドラインとして整理する必要があるのか，定義しておかないとアノテーションしてる人が適当に付けても意味が無いというのもあるなと．

9.3 オンライン評価

比率計算された指標は元になっている数値の異常性に気づかなかったりするから，元のメトリクスも見ようねというのはまさにそうだなと感じた．これは変化があった時など詳細分析する時に分解して確認するからそういう意識は持っておく必要がある（変化がなくても見ておく必要がある）．

指標の計算前に異常な行動をとっているユーザーのログを除去したり、比率の数値だけでなくユーザーごとのク リック数の分布も可視化したりする

外れ値は除外しておかないと，少数のヘビーユーザーの行動に強く影響を受けてしまう．

ここで書かれているより堅牢なメトリクスとして「リクエストあたりのクリック数のユーザー平均」を取り入れても良いなと思った．

9.3.3 「がっかり体験」指標を利用したオンライン評価

これは大事！目に見えて改善できるポイントとしてまさに取り組もうとしているところ！ユーザーにとってのネガティブ要素をまずはクリーンにしていく施策は実施したい．ただここに困っているユーザー数が全体のどれぐらい居るのかは計算する必要はあるのと，プロダクトとして最低限のラインとして守りたいところがどこまでなのかにも寄って来そうな感じがする．

• ゼロ件マッチ
  • 検索した結果ドキュメントの数がゼロ件のこと