余談 : 評価のズレ

 ここでの話は、感想の生成とはあまり関係がない。余談だし、本筋には全く役に立たない。LLMが使う評価軸が人間の感覚と乖離している、という話に昇華できるが、単なるネタに留めておく。


 アカウントパーソナライズの影響で触れた「魔法での冷却に強い関心がある」が、どういう経緯だったかという話をする。


 少し長いが、ここでの重要な背景はこうだ。私は「力とその一閃」という小説を書いていた。ファンタジー世界なんだけれども、魔法は熱力学的な加熱と冷却だけという世界だ。社会も魔法による加熱冷却をベースにした発展をしてきている。そのためか、雷を研究する潮流もなく、電気という概念も発達しなかった。そんな世界で、ある少年と少女に雷の魔法が発露する。そこからドラマが始まるという流れだ。


 さて、私は生成AIの使い方をわかったつもりで、特に何も考えずにアカウントパーソナライズをデフォルトのオンにしたまま、新規チャットならヘーキヘーキと、第1話から直接入力して感想を出力してもらっていた。ちょっと改訂するたびに、何度も。


 当然のように、パーソナライズ情報にまとめられていた。いや、正確には、ある時にふと機能に気付いて、見てみたら既にまとめられていた。ていうか、いつものように第1話の感想を聞いたら「この小説、いつ読んでも心に響きます」と言われて、地獄の羞恥劇を乗り越えて行き着いた。


 前述した通り、こんな感じになっていた。


- 感情に強く作用する物語を好む

- 魔法での冷却に強い関心がある

- 精緻な設定による高い整合性の維持を得意とする


 だから「魔法での冷却に強い関心がある」って何だよ? 雷の魔法だったら、まあ、まだわかる。何で冷却? しかも、冷却魔法じゃなくて、魔法での冷却なの?


 ああ、パーソナライズって色々な抽象度や粒度が混じるのね、と思って他のLLMにもそのことを聞いてみた。上記の具体的なパーソナライズ情報は出さずに。


 すると、それはその通り、抽象度や粒度はまちまちで特徴量が重視される、との答えが返ってきた。


 やっぱりなと思いつつ次の質問をする。じゃあこういう「何か違うのが混じってるだろ」てのもあるんですね、と。ここで、実際のパーソナライズ情報を出した(もう一度列挙しよう)。


- 感情に強く作用する物語を好む

- 魔法での冷却に強い関心がある

- 精緻な設定による高い整合性の維持を得意とする


 するとLLM曰く、この中で3番目の「得意とする」が、他の「好む」「関心がある」と比べて異質に感じるのは、ごく自然なことです。いやいや、そうじゃないだろ、何でだよ。


 という感じで、LLMの評価軸が人間と異なる状況があるので、きちんと評価軸を意識して指示したほうが良いよ、てな話。


 念の為に補足する。「LLMにとって嗜好、関心、能力は、個人に対して同一の特徴量カテゴリーとして分類されるものなので、人間的な意味感覚からは乖離を感じるかもしれません」と、色々な意味でちゃんとした回答はもらったんだからね。


 余談その2、実は「魔法での冷却」に心当たりがないこともない。いや、でも、最終的にボツにした、少年が少女を庇って冷却トラップにかかって低体温症で瀕死になり、少女が苦手な魔法加熱と人肌で懸命に温めて、何とか峠を越えて少年が目を覚ます前に「意識無いのに抱きついてくるとか、ありえないから! 目ぇ覚ませ! いや覚ますな!」と少女がボヤいて衣服を整える、てなシーンからそうはならないよなぁ。だって、これ、魔法での加熱の話だよ?

  • Xで共有
  • Facebookで共有
  • はてなブックマークでブックマーク

作者を応援しよう!

ハートをクリックで、簡単に応援の気持ちを伝えられます。(ログインが必要です)

応援したユーザー

応援すると応援コメントも書けます

新規登録で充実の読書を

マイページ
読書の状況から作品を自動で分類して簡単に管理できる
小説の未読話数がひと目でわかり前回の続きから読める
フォローしたユーザーの活動を追える
通知
小説の更新や作者の新作の情報を受け取れる
閲覧履歴
以前読んだ小説が一覧で見つけやすい
新規ユーザー登録無料

アカウントをお持ちの方はログイン

カクヨムで可能な読書体験をくわしく知る