日々の採集 Field note
James Dickersonは、AIの審査役を先に試験した
今回の焦点Focus
AIに案を比べさせる前に、結果の分かっている過去の組で審査役を試し、並びを入れ替えて2回比べる。審査役の好みは客の結果と食い違うことがあるので、最後は実際の客で確かめる
3行でわかる
- James Dickersonは11月21日(日本時間)のXの記事で、3つのAIに15種類の仕事をさせて比べた結果を出しました。
- 面白いのは、採点するAIにも先に試験を受けさせ、それでも「審査役は客ではない」と書いている点です。
- AIに二つの案を選ばせているなら、結果の分かっている過去の組で、選ぶ側を先に試せます。
どのAIが勝ったかは出典に譲り、ここでは比べ方を読みます。
一人の感想では、客の予算を預けられない
Jamesが問題にしたのは、世の中のAI比較です。多くは、一人が一つの依頼文で試した感想だと本人は書いています。顧客の予算を任せる判断には使えません。
そこで、実在のブランドの公開情報を3つのAIに同じだけ渡しました。販売ページ、メール、広告、動画など15種類を作らせています。出来を比べたのは人でなくAIの審査役で、票は4,774票です。
採点するAIに、先に答え合わせをさせる
審査役には四つの決まりを置きました。
| 決まり | 中身 |
|---|---|
| 試験 | 実際の客で勝ち負けが分かっている76組を、先に当てさせる。審査した3つは72〜76%を当てた |
| 並び | どの組も、並びを入れ替えて2回比べる |
| 身内 | 自分と同じ会社のAIは採点させない |
| 見直し | 比較に出ていない2社のAIが全部の組を見直す。一致は77〜90% |
試験の合格ラインも決めています。「短いほうを選ぶ」だけで60〜64%は当たるので、それを超えることが条件でした。
やり方そのものも別の会社のAIに批判させ、見つかった穴を直したそうです。
それでも審査役は客ではない
Jamesは、審査役の好みと実際の結果が食い違った例を二つ挙げています。
審査役は「悩みを示し、深掘りし、解決を出す」型の文に72%の票を入れました。ところが、ブランドが実際に出したこの型の投稿は、当たり2本、外れ6本でした。
長い広告も審査役に好まれました。実際に当たった広告は平均24語、外れた広告は34語です。本人は、件数が少ないと断っています。
ブランド自身の当たり作と比べると、AIの作品が取れた票は19%でした。YouTubeの題名と画像だけは例外で、46%です。
次は実際の客で確かめます。自社のページの登録画面を、今の画面とAI3つの案の計4種類にしました。訪問者には無作為に見せます。各画面400人か28日で終える決まりは、始める前に決めました。
自分の仕事で試すなら
ここからは編集部の提案で、まだ試していません。
- 結果の分かっている過去の組を10組ほど集めます。開封の多かった件名と少なかった件名などです。
- どちらが当たったかを伏せて、AIに選ばせます。並びを入れ替えて2回聞き、答えが変わった組は引き分けにします。
- 当たった割合を見て、案選びをAIに任せるかを人が決めます。
[読み手]に見せる[文章の種類]が二つあります。
[目的]でうまくいくのはどちらですか。
AかBで答え、理由を一文で添えてください。
送信や公開はしないでください。
依頼文は、Jamesが記事に載せた型を訳して縮めました。入れ替えて答えが変わったら引き分け、という決まりもJamesのものです。最後の一行は編集部が足しました。
10組の当たり外れが表になれば、一回分は完了です。
確認できていないこと
- 76組の中身と、審査役の試験の記録は読んでいません。数字は本人の発表です。
- 登録画面の試験の結果は、まだ出ていません。
- 本人以外がこの比較を確かめた資料は、見つけていません。
出典
- The Boring Marketer(X):AI Marketing Bench Eval: 6.2 Sol vs Opus 5.5 vs Gemini Neon(2026年11月21日)
- Boring Marketing:Which AI makes the best marketing for real brands?(結果の全体。ページの日付は2026年11月19日)
日付は日本時間。記事は英語の原文で確認しました。確認日:2026年11月23日。