本文へ移動
仕組み採集 Shikumi Field Notes

世界のAI起業家から、次に試す仕組みを集める。

日々の採集 Field note

James Dickersonに学ぶ、AIの修正報告を確かめる方法

今回の焦点Focus

AIが修正した記録と、公開ページで確認できた結果を分けて受け取る

AIにWebページの修正を任せるなら、修正後のページを開き直し、何を確認できたかまで報告してもらう。James Dickersonが10月15日のニュースレターで取り上げたのは、そんな納品の仕組みでした。公開ページと照合できる報告があれば、人は完了した仕事と、まだ確認が必要な仕事を判断できます。

Jamesが気にしているのは、受注後に毎月来る仕事

Jamesは、地域の事業者向けサービスで難しいのは、受注後も毎月続く作業だと説明しています。サイトの点検、修正、投稿、公開前の確認。その繰り返しを担うため、今回はコミュニティのメンバーが作った四つの道具を紹介しました。

その一つが、Harish Ganapathiの「VisibilityKit Crawler」です。Jamesが注目したのは、修正後に同じページを調べ直し、結果を証拠として残す工程。開発したのはHarishで、Jamesはこの道具を紹介した立場です。10月15日のニュースレター

修正した記録と、確かめた結果を分ける

開発元の公開ページでも、作業の状態とは別に、確認結果を残す設計を説明しています。修正後の対象URLを再取得し、タイムアウトやサーバーエラーで確かめられなければ、その状態を表示するというものです。

VisibilityKitの公式紹介画面にある確認状態。画面の例示で、顧客の実績件数ではありません。
確認の状態公式の表示例が伝えること
確認できた修正後の対象ページを新たに調べ、結果を記録している。
再確認前作業の進捗は記録されていても、修正後の再確認は済んでいない。
確認できず修正済みという記録があっても、再取得で503エラーなどが返り、直ったと判定できていない。

公式FAQは、この道具がサイト自体を書き換えるものではないとも明記しています。問題の発見、担当や進捗の管理、変更後の確認を支える製品です。今回確認したのは公開説明までで、アプリを導入して動作を試してはいません。VisibilityKit Crawlerの公式説明

ここから仕事の頼み方へ持ち帰れるのは、AIが行った変更と、公開ページで観察できた結果を分けて提出させることです。確かめられなかった項目が見えれば、追加で何を見るかを決められます。

まずは、直したリンク一件の確認報告を頼む

自分の仕事で試すなら、自分が管理する公開記事のリンクを一件修正した後、その結果をAIに点検してもらえます。以下は編集側の未実施の提案です。VisibilityKitの購入や導入は前提にせず、使えるブラウザなどで確認する仕事として切り出します。

渡す資料は、修正した公開記事のURL、リンクを特定できる文言、修正前後のリンク先URL、正しい行き先のページ名です。修正前の記録がなければ、その点は未確認のまま残し、現在のページを確かめる範囲に絞ります。

依頼文は、例えばこう書けます。

添付した修正記録と、指定した公開記事のリンク一件を照合してください。まずログインしていない状態で記事を開き、対象の文言に設定されたリンク先を確認してください。次にリンク先を開き、最終的に表示されたURL、ページ名、本文の内容が、指定した行き先と合っているかを見てください。

確認した日時、対象URL、期待した内容、実際に確認した内容を一件ずつ報告し、確認箇所の画像も添えてください。一致した項目、食い違った項目、取得できず判断できない項目を分けてください。修正前の情報が足りなければ、前後比較はできないと明記してください。

今回は確認と報告までです。ページや設定を書き換えず、ログインや新しい認証が必要なら、その箇所を報告して止めてください。

受け取るのは、期待した内容と確認結果を並べた報告、証拠となる画像、未確認事項です。

例えば、リンク先のURLを書き換えていても、実際に開くと別の商品ページへ移るなら、期待した修正ができたとはいえません。逆に、サーバーエラーで開けないときは、修正そのものが間違っているとまでは判断できません。食い違いと取得失敗を分けて返してもらいます。

人は、報告から同じ箇所を確かめられるかを見る

キングスマンが確認するのは、修正記録にあるURLと報告の実際のリンク先が一致しているか、画像が今回の対象ページのものか、未確認の項目を完了に含めていないかです。最初の一件は、自分でも公開記事と行き先を開き、報告と読み比べます。

違うページの画像、根拠のない完了判定、修正前の情報を推測で埋めた報告は差し戻します。期待したリンク先と内容が公開状態で確認でき、人も報告から同じ箇所を確かめられたら、一回分の確認は完了です。重要な項目を見られなかった場合は、確認待ちとして残します。

最初は、人が確認に使った時間と、報告を差し戻した箇所を記録します。同じ作業でも根拠が足りず何度も開き直すなら、対象URLや期待する内容の渡し方を見直します。根拠を残した報告を次の一件でも使えるかを見て、任せる範囲を決めます。

この確認で分かるのは、指定したリンクが意図したページへつながっているかです。問い合わせや売上が増えたかは、公開後の行動を別に測る必要があります。

出典・確認範囲

調査範囲は前回の10月12日から19日まで。本人の公開ニュースレターとXプロフィールに表示された範囲を確認し、Xの全投稿・返信、会員資料は確認できていません。開発元のMCP説明へのリンクは19日時点で404となり、内部の検証処理は未確認です。製品の実動作や納品時間の削減、契約継続への効果を検証した記事ではありません。