Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Noam Brown
Výzkum uvažování @OpenAI | Spoluvytvářel nadlidské pokerové umělé inteligence Libratus/Pluribus, CICERO Diplomacy AI a modely uvažování OpenAI o3 / o1 / 🍓 uvažování
Shrnutí; dr: @OpenAI zatím nebude nasazena do NSA ani jiných zpravodajských agentur DoW, aby byl čas řešit možné sledovací mezery v demokratickém procesu.
O víkendu bylo jasné, že původní znění dohody OpenAI / DoW ponechává legitimní otázky nezodpovězené, zejména ohledně některých nových způsobů, jak by umělá inteligence mohla potenciálně umožnit právní sledování. Jazyk je nyní aktualizován, aby se tomu věnoval, ale také pevně věřím, že svět by neměl být závislý na důvěře v AI laboratoře nebo zpravodajské agentury pro jejich bezpečnost a ochranu. Nasazení u NSA a všech ostatních zpravodajských agentur DoW bude pozastaveno, aby bylo možné tyto mezery řešit v rámci demokratického procesu před nasazením.
Vím, že legislativa může být někdy pomalá, ale bojím se kluzkého svahu, kde si zvykneme obcházet demokratický proces pro důležitá politická rozhodnutí. Když je podpora a naléhavost napříč stranami, věřím, že vláda může jednat rychle. A jak AI sílí, je důležitější než kdy dříve, aby konečná pravomoc byla svěřena veřejnosti.
Plánuji se také osobně více zapojit do politiky v OpenAI. Myslím, že nyní je důležitější než kdy jindy, aby byli výzkumníci v obraze, aby politika byla informována o extrémně rychlém pokroku, který vidíme.

Sam Altman3. 3. 09:15
Zde je přepis interního příspěvku:
Spolupracujeme s DoW na některých změnách v naší dohodě, které jasně stanoví naše principy.
1. Plánujeme upravit naši dohodu a přidat tuto formulaci, kromě všeho ostatního:
"• V souladu s platnými zákony, včetně Čtvrtého dodatku Ústavy Spojených států, zákona o národní bezpečnosti z roku 1947, zákona FISA z roku 1978, nesmí být systém AI úmyslně používán pro domácí sledování osob a občanů USA.
• Pro předejít pochybnostem ministerstvo chápe toto omezení jako zákaz úmyslného sledování, sledování nebo monitorování osob nebo státních příslušníků USA, včetně získávání nebo využívání komerčně získaných osobních nebo identifikovatelných údajů."
Je zásadní chránit občanské svobody Američanů, a bylo tomu věnováno tolik pozornosti, že jsme chtěli tento bod zdůraznit obzvlášť jasně, včetně informací získaných komerčně. Stejně jako u všeho, co děláme s iterativním nasazením, budeme se dál učit a zdokonalovat, jak budeme postupovat.
Myslím, že je to důležitá změna; náš tým a tým DoW odvedli skvělou práci.
2. Ministerstvo také potvrdilo, že naše služby nebudou využívány zpravodajskými agenturami Ministerstva války (například NSA). Jakékoliv služby těmto agenturám by vyžadovaly následnou úpravu naší smlouvy.
3. Pro maximální jasnost: chceme pracovat prostřednictvím demokratických procesů. Klíčová rozhodnutí o společnosti by měla činit vláda. Chceme mít hlas a místo u stolu, kde můžeme sdílet naše odborné znalosti a bojovat za principy svobody. Ale máme jasno, jak systém funguje (protože se mnoho lidí ptalo, pokud jsem obdržel to, co jsem považoval za protiústavní, samozřejmě bych raději šel do vězení, než abych ho dodržoval). Ale
4. Existuje mnoho věcí, na které technologie není připravená, a v mnoha oblastech ještě nechápeme, jaké kompromisy jsou pro bezpečnost nutné. Tyto kroky budeme řešit pomalu s DoW, pomocí technických opatření a dalších metod.
5. Jedna věc si myslím, že jsem udělal špatně: neměli jsme spěchat s tím, abychom to vydali v pátek. Problémy jsou velmi složité a vyžadují jasnou komunikaci. Opravdu jsme se snažili situaci uklidnit a vyhnout se mnohem horšímu výsledku, ale myslím, že to vypadalo oportunisticky a nedbale. Byla to pro mě dobrá zkušenost, protože nás čekají rozhodnutí s vyššími sázkami v budoucnu.
Ve svých víkendových rozhovorech jsem zopakoval, že Anthropic by neměl být označen jako SCR a že doufáme, že DoW jim nabídne stejné podmínky, na kterých jsme se dohodli.
Zítra ráno uspořádáme All Hands Meeting, kde odpovíme na další otázky.
202
Po výsledcích IMO minulého léta to někteří odmítli jako "středoškolskou matematiku". Myslíme si, že naše nejnovější modely odstraní jakékoli pochybnosti o tom, že výzkum STEM se chystá zásadně změnit.
Matematici vytvořili sadu 10 výzkumných otázek, které přirozeně vznikly z jejich vlastního výzkumu. Jen oni znají odpovědi a dali světu týden na to, aby pomocí LLM pokusil se je vyřešit. Myslíme si, že naše nejnovější modely umožňují vyřešit několik z nich.
Je to zatím interní model, ale jsem optimistický, že ho brzy vydáme (nebo lepší model).


224
Oceňuji upřímnost @Anthropic v jejich nejnovější systémové kartě, ale její obsah mi nedává důvěru, že firma bude při nasazení pokročilých AI modelů jednat odpovědně:
-Primárně se spoléhali na interní průzkum, aby zjistili, zda Opus 4.6 překročil jejich práh autonomního UMĚLÉHO VÝZKUMU A 4 (a proto by vyžadoval silnější opatření k uvolnění podle jejich politiky odpovědného škálování). Nešlo ani o externí průzkum nestranné třetí strany, ale o průzkum zaměstnanců Anthropic.
-Když 5 z 16 respondentů interního průzkumu původně uvedlo hodnocení, které naznačovalo, že pro uvedení modelu by mohly být potřeba přísnější ochrany, Anthropic se konkrétně obrátil na tyto zaměstnance a požádal je, aby "vyjasnili své názory." Nezmiňují žádné podobné následné dotazy u ostatních respondentů z 11 z 16. V systémové kartě se nediskutuje, jak by to mohlo způsobovat zaujatost ve výsledcích průzkumu.
-Důvodem, proč spoléhají na průzkumy, je to, že jejich stávající AI R&D hodnocení jsou přesycená. Někteří by mohli tvrdit, že pokrok v AI je tak rychlý, že je pochopitelné, že zatím nemají pokročilejší kvantitativní hodnocení, ale AI laboratoře můžeme a měli bychom držet na vysoké laťce. Také jiné laboratoře mají pokročilé AI R&D hodnocení, která nejsou přesycená. Například OpenAI má benchmark OPQA, který měří schopnost AI modelů řešit skutečné interní problémy, na které se OpenAI výzkumné týmy setkaly a které jim trvaly více než den.
Nemyslím si, že Opus 4.6 je skutečně na úrovni vzdáleného začátečnického výzkumníka AI, a nemyslím si, že je nebezpečné ho vydat. Ale smyslem politiky odpovědného škálování je budovat institucionální sílu a dobré návyky dříve, než se věci stanou vážnějšími. Interní průzkumy, zejména jak je provádí Anthropic, nejsou odpovědnou náhradou za kvantitativní hodnocení.

486
Top
Hodnocení
Oblíbené
