本文へ移動
仕組み採集 Shikumi Field Notes

世界のAI起業家から、次に試す仕組みを集める。

日々の採集 Field note

James Dickersonは、AIの審査役を先に試験した

今回の焦点Focus

AIに案を比べさせる前に、結果の分かっている過去の組で審査役を試し、並びを入れ替えて2回比べる。審査役の好みは客の結果と食い違うことがあるので、最後は実際の客で確かめる

3行でわかる

  • James Dickersonは11月21日(日本時間)のXの記事で、3つのAIに15種類の仕事をさせて比べた結果を出しました。
  • 面白いのは、採点するAIにも先に試験を受けさせ、それでも「審査役は客ではない」と書いている点です。
  • AIに二つの案を選ばせているなら、結果の分かっている過去の組で、選ぶ側を先に試せます。

どのAIが勝ったかは出典に譲り、ここでは比べ方を読みます。

一人の感想では、客の予算を預けられない

Jamesが問題にしたのは、世の中のAI比較です。多くは、一人が一つの依頼文で試した感想だと本人は書いています。顧客の予算を任せる判断には使えません。

そこで、実在のブランドの公開情報を3つのAIに同じだけ渡しました。販売ページ、メール、広告、動画など15種類を作らせています。出来を比べたのは人でなくAIの審査役で、票は4,774票です。

採点するAIに、先に答え合わせをさせる

審査役には四つの決まりを置きました。

決まり中身
試験実際の客で勝ち負けが分かっている76組を、先に当てさせる。審査した3つは72〜76%を当てた
並びどの組も、並びを入れ替えて2回比べる
身内自分と同じ会社のAIは採点させない
見直し比較に出ていない2社のAIが全部の組を見直す。一致は77〜90%

試験の合格ラインも決めています。「短いほうを選ぶ」だけで60〜64%は当たるので、それを超えることが条件でした。

やり方そのものも別の会社のAIに批判させ、見つかった穴を直したそうです。

それでも審査役は客ではない

Jamesは、審査役の好みと実際の結果が食い違った例を二つ挙げています。

審査役は「悩みを示し、深掘りし、解決を出す」型の文に72%の票を入れました。ところが、ブランドが実際に出したこの型の投稿は、当たり2本、外れ6本でした。

長い広告も審査役に好まれました。実際に当たった広告は平均24語、外れた広告は34語です。本人は、件数が少ないと断っています。

ブランド自身の当たり作と比べると、AIの作品が取れた票は19%でした。YouTubeの題名と画像だけは例外で、46%です。

次は実際の客で確かめます。自社のページの登録画面を、今の画面とAI3つの案の計4種類にしました。訪問者には無作為に見せます。各画面400人か28日で終える決まりは、始める前に決めました。

自分の仕事で試すなら

ここからは編集部の提案で、まだ試していません。

  1. 結果の分かっている過去の組を10組ほど集めます。開封の多かった件名と少なかった件名などです。
  2. どちらが当たったかを伏せて、AIに選ばせます。並びを入れ替えて2回聞き、答えが変わった組は引き分けにします。
  3. 当たった割合を見て、案選びをAIに任せるかを人が決めます。

[読み手]に見せる[文章の種類]が二つあります。
[目的]でうまくいくのはどちらですか。
AかBで答え、理由を一文で添えてください。
送信や公開はしないでください。

依頼文は、Jamesが記事に載せた型を訳して縮めました。入れ替えて答えが変わったら引き分け、という決まりもJamesのものです。最後の一行は編集部が足しました。

10組の当たり外れが表になれば、一回分は完了です。

確認できていないこと

  • 76組の中身と、審査役の試験の記録は読んでいません。数字は本人の発表です。
  • 登録画面の試験の結果は、まだ出ていません。
  • 本人以外がこの比較を確かめた資料は、見つけていません。

出典

日付は日本時間。記事は英語の原文で確認しました。確認日:2026年11月23日。