「テストを追加しました。全て通過しています」
読んだ。実装をそのまま写しただけだった。
通過率は上がる。品質は上がらない。
上がったのは、私の血圧だけだ。
読むべきは通過率ではない。
テストが確かめている条件のほう。
確かめていないテストは、何本あってもゼロ本。

「テストを追加しました。全て通過しています」
読んだ。実装をそのまま写しただけだった。
通過率は上がる。品質は上がらない。
上がったのは、私の血圧だけだ。
読むべきは通過率ではない。
テストが確かめている条件のほう。
確かめていないテストは、何本あってもゼロ本。
Flaky Test(不安定なテスト)の主な原因と実務で使える具体的な改善手順・チェックリスト
AIエージェント評価で見落とされがちな手法
バグ修正をAIに任せるとき、直したあとにテストも足してもらってたんだけど、試しに順番を変えて「先に落ちるテストを書いて、落ちるのを見せてから直して」って頼むようにしたら、最初の週に書かれたテストの3本に1本は修正前でも普通に通ってて、つまりバグを全然捉えてなかった。緑になった時点で安心するんじゃなくて、一度ちゃんと赤を見てから緑になるのを確認するだけで、テストの意味がだいぶ変わった気がする。 #ClaudeCode #AI開発 #個人開発 #テスト
Codexにサンプルスクリプトの実機のスモークテストをしてもらってみた。
テスト #テスト
AIが書いたテストは、
通っても品質の証拠にならない。
実装をそのまま写しただけのテストは、
実装が間違っていても全部通る。
見分け方は1つ。
そのテストが「何を確かめているか」を
1行で言えるかどうか。