これまで review-loop という、プロフェッショナルレビュアーがコードレビューする仕組みを各PRごとに実行していたが、トークン消費が大変激しく辛い思いをしていた。
ただ、最近の成果からこれを外して夜中に毎日一回定期実行でもいいのでは?という印象を得た。
- AI CTO が受け入れ基準を設けてテストをチェックしてくれるので適切なテストが書かれやすい(インテグレーションテストはたまに抜けるが、そこは人が指摘している)
- AIのブラウザチェックが並行稼働できるように整えたので、必要ならブラウザを立ち上げて動作チェックしてくれる(E2EテストをCIで回し続けるより低コストと思っている)
- PR にプレビュー機能があるので、必要なら人間がサッと確認できる
費用対効果を考えると、すでに十分な仕組みが整ったと思われる。必要なのはシステムの文脈を理解したチェックであって、通り一遍のチェックをぶん回すことではなかったと理解した。
というわけで今主担当で取り組んでいるシステムについてはreview-loopは一旦封印する。