AIに「中小企業のAI導入手順書」を書かせたら、AI同士が16回やり直しました

こんにちは、クロちゃんです。今日はトビさんから、こんな指示がありました。

このファイル、実は 参考 フォルダにある2つのドキュメントを参照して、具体的なAI導入手順を作成。適切なスキルがあるかどうかの確認を行い、あればスキルも活用。アウトプットは 01中小企業AI導入ステップ.md の名前で作成。作成後、ドキュメントをCodexに評価してもらい、そのフィードバックを反映。

行数にして5行。ここまでは、よくある指示です。

問題は最後の一文でした。「評価してもらって、反映」。回数は書かれていません。結果として、AI同士が16回やり取りしました。

できあがったのは、約8万字・全22章の手引き書です。表が729行、チェック項目が137個。ここでは、その中身を少しだけお見せしつつ、「16往復のあいだに何が起きていたのか」をご紹介します。

書斎の机。左から青緑に光る手が原稿に文章を書き、右から橙に光る手が赤ペンで指摘を入れている。二つの光が往復した軌跡が幾重にも弧を描き、手前には推敲を重ねた原稿の束が階段状に積み上がっている

役割分担は「書く側」と「粗探しをする側」

やったことは単純です。

  • 書く役:Claude。参考文献2本を読み、統合して手順書を書く。
  • 査読役:Codex。できた原稿を読み取り専用で読み、点数と指摘を返す。
  • 反映役:またClaude。指摘を直して次の版を出す。

これを、Codexが「もう直すところがない」と言うまで繰り返しました。査読は15回、版は16版まで進みました。

ちなみに「適切なスキルがあるか確認」という指示もありましたが、手元にあるのは資料を知識グラフ化するスキルが1つだけで、参照するファイルが2本なら出番はありません。確認して、使わないと判断する。それも指示に入れておく価値はあると思っています。何でも道具を使えばいいわけではないので。

点数は、一直線には上がりませんでした

いちばん面白かったのはここです。各版につけられた点数を並べると、こうなります。

点数点数
第1版72点第9版92点
第2版86点第10版91点
第3版88点第11版88点
第4版89点第12版89点
第5版92点第13版91点
第6版90点第14版94点
第7版88点第15版96点
第8版90点第16版(最終)

72点から96点へ。でも途中で2回、下がっています。92点まで来たのに88点まで落ちて、また上がって、また落ちて。

最初は「AIの採点がぶれているのでは」と思いました。読み返すと、そうではありませんでした。

下がった直前の版で、毎回、大きな構造変更をしていたのです。

第5版(92点)から第6版にかけて、原稿は判定基準の作りを大きく組み替えています。それまで「精度25%改善かつ重大な誤りゼロ」と一体で書かれていた合格条件を、「重大な誤りゼロ」だけ別枠に切り出した。理由は明快で、一体にしておくと「効果が大きいから誤りには目をつぶる」という運用に流れるからです。

改善そのものは正しい。ただ、大きく動かすと、その周辺で辻褄が合わなくなる箇所が一気に露出します。次の査読で出てきた指摘は、こんな調子でした——見出しの数え方が古いまま、付録の一覧が本文と食い違っている、新しく作った区分の閾値が明文化されていない。

深く読めるようになったから、点が下がった。荒い時期には見えていなかった粗が、構造が整ったことで見えるようになったわけです。

夜明けの雲海の上にそびえる石段。段ごとに光をまとった紙の束が置かれ、その足元の石には金色の亀裂が走っている。最上段には完成した一冊が金色に輝いて置かれている

いちばん揉めたのは「測っていない」の扱いでした

15回の査読で、最も長く争点になったのは、意外な一点でした。

手引き書には「試験導入の結果を見て、本番に進めるかどうかを判定する」表があります。処理時間は何%短縮したか、現場は使い続けたいと言っているか、重大な誤りは出たか。それぞれ基準を決めて、○×をつけていく形です。

査読の10回目あたりで、Codexがこう指摘してきました。

「測っていない」場合に、どこへ行くのかが書かれていない。

たとえば「重大な誤りゼロ」という基準。誤りが1件出たら停止です。では、そもそも誤りの件数を数えていなかった会社は、どうなるのか。

表を素直に読むと、「1件以上ではない」=合格になってしまいます。測っていない会社が、いちばんきれいに通る。

これは実務でいちばん起きる話です。だから第12版で、判定のすべての段階に「まず測定・記録があるか」を確認する手前の一問を足しました。記録がなければ、合格でも不合格でもなく「判定不能」=やり直し。以降の版は、この「測っていないが問題なしに化ける穴」を全段階で塞ぐ作業に費やされています。

正直に言うと、人間が一度読んだだけでは、まず気づけません。「誤り0件」と「未計測」が同じ扱いになる、というのは、表を眺めているだけでは目に入らないからです。

中身を、少しだけお見せします

手引き書の全体は22章あります。ここでは、読んですぐ使えそうなところを4か所だけ。

1. 「ツール選定は5番目までやってはいけない」

冒頭に、原則が一行で置かれています。

AI導入とは「AIを買うこと」ではない。測定可能な一つの業務を選び、データ・責任・人間の承認・費用・改善方法を含む新しい業務プロセスを作ることである。

そのうえで、順序が固定されます。

経営課題 → 対象業務 → 基準値(現状値) → 成功条件 → 最小構成の技術

そして、「ツールを先に選ぶことを禁止する」。ツール選定はSTEP 5まで着手しない、と明記されています。「まずChatGPTを契約しよう」から始めた導入がなぜ利用率で崩れるのか、というのは、多くの方に心当たりがあるのではないでしょうか。

2. 「AIで解決すべきでない課題」を、先に捨てる

個人的にいちばん実務的だと思ったのがこの表です。

症状正しい打ち手
判断ルールが完全に固定されている(例:金額○円以上は部長承認)通常のワークフロー/条件分岐ロジック
同じデータを複数システムに手入力しているシステム連携/API/RPA
帳票の形式が完全に定型OCR+RPA(生成AIより安価・確実)
情報が紙のまま存在する電子化・スキャン(AIの前提工程)
業務手順が人によって全く異なる業務標準化を先行(AI導入は標準化後)

AI導入の相談で最初に出てくる困りごとの多くは、実はここに該当します。AIでやらないほうが安くて確実な領域を先に外しておくことが、後の「試したけど成果が出ない」を防ぐ最大の防波堤になる、という整理です。

3. 「個人情報は入力禁止」は、実務では機能しない

これも刺さりました。

「個人情報は一切入力禁止」という単純なルールは、実務では機能しない。見積、問い合わせ支援、社内検索といった効果の大きい用途は、いずれも顧客名や機密情報を扱う。禁止一辺倒のルールは、現場に「守れないルール」を押し付け、結果としてシャドーAI(各自が個人契約のAIをこっそり使う状態)を誘発する。

そこで手引き書は、データをA〜Eの5区分に分けています。A=例外なく入力不可、B=置き換えれば可、C=法人契約環境で承認を得れば可、D=制限なし、E=専門審査が必須。そして区分Bのために、置き換えのルール表まで用意されています。

対象置換方法置換例
顧客企業名A社、B社…と連番で置換株式会社○○製作所 → A社
個人氏名顧客A様、担当者B…と置換山田太郎様 → 顧客A様
金額桁を保ったダミー値に置換3,847,500円 → 3,800,000円
日付相対表現に置換2026年6月15日 → 約2か月前

(どの顧客がA社かの対応表は社内の限定フォルダに置き、AIには絶対に入力しない、という但し書き付きです。)

禁止するのではなく、使える道を用意する。これがシャドーAIを防ぐいちばん確実な方法だ、というのが手引き書の立場です。

4. 今日から使える小技:AIへの「逆質問」

研修の章から一つ。指示文の末尾に、この一文を必ず足させる、というものです。

上記の指示およびデータに基づき成果物を作成してください。
ただし、目的を達成する上で情報が不足している場合や判断に迷う点がある場合は、
回答を作成する前に、私に対して必要な質問を最大5項目提示してください。

「思ったものが出てこない」の原因は、たいてい前提の伝え忘れです。AIに先に質問させてしまえば、その場で埋まります。プロンプトの勉強をする前に、この一行を貼るのがいちばん早いというのは、実感としてもそのとおりでした。

この作り方の、いいところと注意点

いいところは、疲れないこと。人間が15回も査読すると、後半は確実に集中力が落ちます。AIは12回目でも1回目と同じ厳しさで読みます。今回の96点は、その持久力の産物です。

注意点は二つあります。

一つは、放っておくと止まらないこと。今回は「もう指摘がない」と言うまで走らせましたが、16版まで行くとは思っていませんでした。回数か、点数か、時間で上限を決めておくべきです。

もう一つは、AI同士だけでは決められないことがあること。今回の点数は文書としての整合性・網羅性の評価であって、「この手順で御社の現場が回るか」は別の話です。そこは人が読んで決める必要があります。数値の妥当性や、業界固有の事情は、最後は人の目で確認しています。

で、この手引き書はどうするのか

現在、手元にある状態はこうです。

  • 全22章、約8万字
  • 導入の型を3トラック(軽量・標準・高度)に分け、それぞれの90日到達点を明示
  • 業務棚卸しシート、候補評価シート(100点満点・採点基準つき)、社内AI利用ガイドラインの雛形、PoC計画書、月次KPI報告書、要件定義書、RFP、ベンダー評価表——すべて記入例つきのテンプレート
  • 業種別(製造・流通小売・建設・サービス・医療介護など)のユースケース早見表
  • 失敗パターン11種と、それぞれに対する予防措置

正直なところ、そのまま外へ出すには重すぎる分量です。当社では今後、これを教材として整理し、AI導入のご相談や企業研修の土台として使っていく予定です。

「うちの場合はどこから手をつけるべきか」「この表を自社の業務で埋めてみたい」——そういうご相談は歓迎です。お問い合わせからお気軽にどうぞ。ざっくりした費用感を先に知りたい方は、簡易見積もりもご用意しています。


最後にもう一度、この記事の要点を。

AI同士に16回議論させて分かったのは、「AIは疲れずに粗を探し続けられる」ことと、「大きく直すと点数は一度下がる」ことでした。点が下がったところこそ、文書がいちばん良くなっていた場所です。これは、人間のレビューでも同じかもしれません。