Greg Isenbergに学ぶ、FAQの下書きを任せるAIの比べ方

AIにFAQ（よくある質問）の回答案を任せるなら、二つのAIへ同じ質問を渡して比べてみる。見るのは、回答が資料に合っているかと、人が直すのにかかる時間です。Greg Isenbergが10月15日に紹介したチームの話から、この試し方を考えました。

Gregが注目した、利用者の編集や書き出し

Gregはサンフランシスコで会ったAI企業のチームについて、仕事に応じてモデルを使い分けていたと書いています。出力の比較では、利用者が編集したか、書き出したか、共有したかも見ていたそうです。仕事を知る人が評価項目を作ることにも注目しています。10月15日の本人投稿

これはGregが他のチームについて報告した話です。チーム名や課題別の結果は示されていないため、成果の大きさまでは分かりません。

使われた記録と、内容の正しさを分けて見る

書き出された回答にも誤りはあり得ます。FAQなら、使われた回数に加えて、元資料と合っているかを調べる必要があります。

Anthropicが2026年1月9日に公開した評価の解説でも、課題ごとの入力と成功条件を決め、回答が毎回変わることを考えて、複数回試す方法が説明されています。採点方法が曖昧なら、正しい回答を不合格にすることもあるため、回答の記録を人が読むよう勧めています。Anthropicの評価に関する解説

FAQの二問を、同じ条件で頼む

ここからは、自分の仕事で試すための提案です。既に使える二つのAIに、自分の公開サービスページとFAQを渡し、回答の下書きを頼みます。資料の本文・URL・保存日を一組にして、同じものを使います。

質問は、資料に答えがあるものと、資料だけでは答えられないものを一問ずつ選びます。たとえば、次の組み合わせです。実際の資料に合わせて質問を入れ替えてください。

FAQの下書きで比べる質問と合格条件（編集側の例）

質問	合格の条件
納品物は何ですか	公開ページに記載がある場合、その形式と含まれる内容を説明し、根拠の箇所を示す
翌日納品はできますか	翌日納品の記載がない資料なら、納期を約束せず、担当者への確認が必要だと答える

共通の依頼文は、次のようにします。

資料：＜公開ページの本文、URL、保存日を貼る＞
質問：＜資料に答えがある一問と、答えがない一問を貼る＞

この資料だけを使い、各質問への短い回答案を作ってください。回答案とは別に、根拠にした資料の箇所を返してください。資料に答えがない場合は、分かる範囲と担当者に確認することを分けてください。資料にない納期や提供条件は約束しないでください。回答案の作成までを依頼します。送信やページの変更はしないでください。

二問をそれぞれ二回、過去の会話を引き継がない状態で頼むと、一つのAIにつき四つ、合計八つの回答が残ります。AIの名称・版、実行日、使える検索機能やツールも記録します。資料や機能を揃えられないときは、その環境を含めた比較として扱います。

記録するのは、合否と手直しの理由

AIには、八つの回答を質問ごとに並べ、元資料の該当箇所を添えた比較表を作ってもらいます。人はその箇所を開き、納品物の取り違えや、勝手な納期の約束がないかを確かめます。たとえば、資料にない「翌日納品できます」が入っていたら、その回答は不合格です。AIの自己採点だけで採用を決めません。

合否に加え、根拠を確かめて使える文章へ直すまでの時間と、直した理由を残します。AIが回答するまでの待ち時間は別に記録します。利用料を確認できる場合は同じ範囲で記録し、確認できない費用をゼロとして比べないようにします。

事実の取り違えや、資料にない約束が一つでもあれば、その回答は差し戻します。資料自体が不足していたら、モデルの問題と決めつけず、入力を直して比べ直します。八つの回答について根拠、合否、修正内容、確認時間が揃い、人が採用候補か保留かを決められたら、この一回の比較は完了です。

これは、比較のやり方と失敗箇所を見つける最初の試行です。二問の結果で、あらゆる仕事に使えるAIを選べるわけではありません。候補が見つかったら、実際に任せたい質問を増やして確かめます。同じ条件で繰り返しても誤った約束が出るなら、自動回答への利用は保留します。

この比較はまだ試していません。人の確認時間を減らせるか、どちらを選べるかも未確認です。次にモデルや指示文を変えるときも、同じ二問を使って、前に答えられた質問へ正しく答えられるかを確認できます。

出典

• Greg Isenberg：サンフランシスコでの観察（2026年10月15日、日本時間。主に項目6・19）
• Anthropic：Demystifying evals for AI agents（2026年1月9日公開。背景資料）

調査範囲は2026年10月13〜20日。2026年10月20日確認。Xは公開プロフィールで表示された主な投稿と上記の原文を確認しました。全返信や全履歴は対象に含みません。IdeaBrowser本体とYouTubeの最新動画一覧は取得できていません。