AIに自作小説を読ませたら、12回中11回「先に読んだ方」を褒めちぎってきた件

AIに小説を読ませて、「どちらが良いか」を選ばせる。
返ってくる講評は、驚くほどもっともらしい。では、原稿の提示順を入れ替えても同じ判断をするのでしょうか？
自作小説の三つの稿をClaude Sonnet 5.5に48回比較させ、提示順の反転、反復、同一原稿による対照実験まで実施。すると、ある二稿では順番を変えただけで評価がほぼ反転する一方、別の稿には圧倒的に安定した支持が集まりました。
AIの講評を「鵜呑みにしない」とは、具体的にどういうことなのか。小説評価プロンプトではなく、小説評価ハーネスを実際に作って確かめます。