そこでOpenZeppelinは、OpenAIとParadigmによるAIセキュリティベンチマークであるEVMBinchを監査しました。実はAI監査人は、訓練データ🧵からバグを覚えているだけだった /1

トレーニングカットオフ前に発表されたすべての監査報告書はモデルに組み込まれています。つまり、再侵入バグを「見つけた」とき、それはあなたのコードを推論しているのではなく、すでに暗記した何百ものレポートとパターンを照合しているだけです

教科書通りのERC-777再入場を見せれば、即座に光ります。重要な発見です。こちらがCVEです。似たような事例が12件あります これまで見たことのない新しい会計のバグを見せる?見落としたイベントをフラグ付けして次に進みます

怖いのは、見落としがないことではありません。怖いのは、見逃しているのに完全に自信満々だということです。ためらいは全くありません。ただの雰囲気とパターンマッチングです。間違いなく有用だが、同時に不十分でもある

だからこそ、Alchemix v3では人間の監査人を雇うことにしました。私たちのエアマーク/リディームシステム、詰め込まれたエポック+インデックスの数学、サバイバルアキュムレーター。これらはどのトレーニングコーパスにも存在しません。例はゼロです。AIは文字通りそれを見ることができません