ブログの推薦用軽量embedding modelをBekkoに変えた

前回の話はこちらにあるので見てほしい 今、このブログではBekko a25mで関連記事が出るようになっている。そこに至るまでの経緯を書いていこう。 最新版のレポートはこちら レポートを別タブで開く Opus 5が設計する代理指標の罠 正解ラベルのない推薦タスクなため、タグ・カテゴリ一致率という指標をOpus 5が提案した。この代理指標の重大な問題にOpus 5が気づいたため追加調査を行った。 一致率の分母 |P| というのは、推薦された記事に依存して変わるのである。 Bekko a25mは、タグ・カテゴリのついた記事を推薦しやすいという傾向が見られた。なので、再現率が上がり、分母が増えるから一致率が下がるという現象が発生していた。しかも、これをずっとOpus 5はHTMLに補足として書いていたのである！（人もLLMも真面目に読んでいなかった！） Fable…