OpenZeppelin tedy auditoval EVMBENCH, ten AI bezpečnostní benchmark od OpenAI a Paradigm. Ukazuje se, že auditoři AI si v podstatě jen pamatují chyby ze svých tréninkových dat 🧵 /1

Každá auditní zpráva zveřejněná před tréninkovým cutoffem je zakódována v modelu. Takže když "najde" chybu v reentranci, neuvažuje o vašem kódu, jen porovnává vzory se stovkami reportů, které už má naučené nazpaměť

Ukážete mu učebnicový reentrancy ERC-777 a okamžitě se rozsvítí. Kritický nález, tady je CVE, tady je 12 podobných případů Ukázat mu nějakou novou účetní chybu v mechanismu, který nikdy neviděl? Označí chybějící události a pokračuje dál

Nejstrašidelnější není to, že by něco přehlédlo. Děsivé je, že je naprosto sebejistá, ale něco mu chybí. Ani na okamžik. Jen atmosféra a sladění vzorů. nepochybně užitečné, ale také nedostatečné

Právě proto jsme pro Alchemix v3 zvolili Human Auditors. Náš systém earmark/redeem, nabitá epoch+index matematika, akumulátory přežití. Nic z toho neexistuje v žádném výcvikovém korpusu. Žádné příklady. AI to doslova nevidí