AIの「できました」を信じない

INTRO

「できました」は、結果ではなく報告です

AI に頼んだ作業が終わると、「できました」「修正しました」「テストも通っています」と返ってきます。 それを読んで安心して次へ進む——自然な流れですが、ここに落とし穴があります。

AI は、自分が書いたものを自分で確かめて、自分で「合格」と言っています。 つまり作った人が、そのまま採点もしている状態です。 人間でも、自分の答案を自分で採点すると甘くなりやすいのと同じで、 AI でも同じ偏りが起きやすいと考えて、仕組みで備えます（STEP 4・5 で具体的に出てきます）。

対策は、AI を疑い続けることではありません。 合否を決める役を、AI の言葉から「機械が出す番号」に移すだけです。 機械は毎回同じ基準で、疲れず、言葉に流されずに判定します。

これは LAB 000 の 「動いた ≠ 正しい」の続きです。あのときは自分の目で結果を1つ見ることで確かめました。 今回はその確かめ方を、毎回、自動で、同じ基準でやれる形にします。

ここで作るのは自己テストです。 道具を実際に動かして、結果が思ったとおりかを確かめ、 全部合っていれば 0、1つでも違えば 0 以外で終わる小さなプログラムです。 「自動で採点してくれる採点表」だと思ってください。

書くのは AI に頼みます。ただし、どういう形のものが「テスト」なのかを知らないと、 できあがったものが本物かどうか見分けられません。先に、いちばん小さな見本を動かして形を見ておきましょう。

2-1　見本を動かして、❌ と 1 を見る

LAB 001 の要領で Claude Code を起動して、 次の文章をそのまま貼ってください。Python は LAB 000 で動かしたものと同じです。

次のコードを、今のフォルダに _selftest_demo.py という名前で保存して。
保存したら「python3 _selftest_demo.py; echo $?」を実際に走らせて、
画面に出た内容を、省略せずそのまま見せて。

import sys

NG = 0   # 失敗の数


def check(label, cond):
    global NG
    if cond:
        print("  ✅", label)
    else:
        print("  ❌", label)
        NG += 1


check("1 + 1 は 2 になる", 1 + 1 == 2)
check("わざと間違えた例：1 + 1 は 3 になる", 1 + 1 == 3)

sys.exit(1 if NG else 0)   # 失敗が1つでもあれば 1、無ければ 0 で終わる

✅ が1行、❌ が1行出て、最後に 1 と表示されるはずです。 2つ目の項目はわざと間違えてあるので、これでいい。 「落ちるべきときにちゃんと落ちて、番号が 1 になる」ことの確認になっています。

形はこれだけです。check が1項目ぶんの確認で、 条件が合えば ✅、違えば ❌ と数える。最後の sys.exit(...) が番号を返す行です。 本物のテストも、項目が増えるだけで同じ形です。

2-2　自分の道具のテストを頼む

形が分かったら、LAB 005 で作った道具のテストを頼みます。 条件を最初に全部伝えるのがコツです。

この道具を確かめるテストを _selftest.py という名前で作って。
条件：
・全部通れば終了コード0、1つでも違えば0以外で終わること
・画面に「たぶん大丈夫」と書いて終わる作りにしない。必ず終了コードで合否が決まる形にする
・最後に「成功 ◯ / 失敗 ◯」と項目の数も表示する
・私の本物のファイルやノートには触らず、一時フォルダに作った偽のデータで試す
作ったら実際に走らせて、画面の出力と終了コードをそのまま見せて。

項目の数も出させる理由：確かめる項目が0個だと、何も確かめていないのに 終了コードは 0（成功）になります。「全部通りました（12 項目）」のように数が出ていれば、 空っぽのテストにだまされません。

テストを作っても、まだ穴があります。テストが落ちたとき、 AI が「作ったものを直す」のではなく「テストの方を直して」通してしまうことがあるのです。 条件をゆるめる、項目を消す——すると緑になり、「通りました」と報告されます。 けれど、何も確かめていません。

筆者が自作したタスクキュー（AI への作業依頼を1件ずつ自動で流す道具）でも、 「テストの側を甘くして通すこと」と「合否を決めるコマンド自体の書き換え」を 指示文ではっきり禁じています。自分の書いたものを自分で採点させると、判定の方を緩めて「通った」と報告する事故を招くからです。

守ることは3つです。AI への頼み方に、そのまま入れられます。

頼み事の最後に、毎回この文を付けます。

作業が終わったら、python3 _selftest.py; echo $? を実際に走らせて、
出力の最後の部分と、終了コードを貼って。
通らないときは、テストを緩めたり、項目を消したり、書き換えたりせず、
作ったものの方を直して。
どうしても直せないときは、直せない理由を書いて、そこで止まって。

「止まって」と付ける理由：出口を用意しないと、 AI は行き詰まったとき、通すためにテストの方を曲げる方向へ逃げやすくなります。 「直せないなら止まっていい」と先に伝えておけば、その逃げ道が要らなくなります。

もう一段強くする：走らせるのも AI にさせない

上の頼み方でも、走らせて結果を報告するのは AIです。 もっと確実なのは、作業が終わったあとに、AI とは別のものが同じコマンドを走らせることです。

筆者のタスクキューは、タスクごとに「完了条件」（合否を決めるコマンド）を持てます。 Claude の作業が終わったあと、そのコマンドを機械が走らせ、 終了コード 0 で初めて完了。違えば出力を渡してやり直させます。 やり直しには回数の上限があり（際限なく回して、AI の利用量を使い果たさないため）、 行き詰まったときは人に聞くために止まる出口も渡してあります。

この道具は自作なので、読者のみなさんが同じものを用意する必要はありません。 手でやるなら、「できました」と言われたら自分でターミナルに python3 _selftest.py; echo $? と打つだけ。数秒で終わります。 大事なのは「確かめるのが AI 以外であること」です。

TROUBLE

つまずき集（症状から引く）