cat posts/%e4%bb%8a%e9%80%b1%e3%81%aeai%e8%80%83%e5%af%9f%ef%bc%9a%e4%ba%ba%e9%96%93%e3%81%ae%e3%83%ac%e3%83%93%e3%83%a5%e3%83%bc%e3%81%aa%e3%81%97%e3%81%ae%e8%84%86%e5%bc%b1%e6%80%a7%e3%83%ac%e3%83%9d%e3%83%bc.md

今週のAI考察:人間のレビューなしの脆弱性レポートが届くとき、誰がトリアージを引き受けるのか

ところで、バグを見つける側のコストが下がると、バグを読む側のコストはどこへ行くのだろう、とふと思った。

「人間のレビューなし」を技術的に解く

Anthropic(Claude を開発する AI 企業)が、OSS Scanner という opt-in 制のサービスを始めた。参加したオープンソースプロジェクトは、同社の最強クラスのモデル(Claude Mythos を含む)による定期的なセキュリティスキャンを無償で受けられる。ポイントは、出力が完全にモデル生成で、人間によるレビューやトリアージを挟まないと明記されていることだ。速度と頻度を取る代わりに、誤報が混ざりうる設計だ。

flowchart LR
    A[OSS Scanner
モデルが定期スキャン]:::new --> B[レポート生成
人間のレビューなし]:::new B --> C[誤検知・無効な報告
の可能性]:::lim C --> D[メンテナが
トリアージ]:::lim D --> E[修正・CVE対応]:::old classDef new fill:#2980b9,color:#fff classDef lim fill:#e67e22,color:#fff classDef old fill:#7f8c8d,color:#fff

で、実際のところは

メンテナの立場で考えると、受信箱に届くのは「確認済みの脆弱性」ではなく「検証前の仮説」になる。再現できるかを自分で確かめる工程が日常業務に入ってくる。再現テストに書き起こせるものだけを優先する、といった運用ルールが先に要りそうだ。

トレードオフと限界

無償で定期的に見てもらえるのは確かに助かる。ただ The Verge によれば、AI 生成のバグ報告の洪水に Linus Torvalds や Google ですら手を焼いている。スキャンの頻度が上がるほど、人手の足りない小規模プロジェクトでは「検出の速さ」より「読む側の処理能力」が律速になる。検出精度のベンチマークが高いことと、メンテナの負担が減ることは別の話だ。

一つ問いかけ

自分が管理しているリポジトリに、検証前の脆弱性レポートが月に 20 件届いたとして、最初の 1 件目を「再現できた/できない」に仕分けるまで何分かかるだろう?

参考: Anthropic launches free AI security scans for open-source projects(The Verge)