Trendande ämnen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Noam Brown
Forskar om resonemang @OpenAI | Var med och skapade Libratus/Pluribus övermänskliga poker AIs, CICERO Diplomacy AI och OpenAI o3 / o1 / 🍓 resonemangsmodeller
tl; dr: @OpenAI kommer inte att skickas till NSA eller andra underrättelsetjänster från Försvarsdepartementet för tillfället, så att det finns tid att åtgärda potentiella övervakningsluckor genom den demokratiska processen.
Under helgen blev det tydligt att den ursprungliga formuleringen i OpenAI/DoW-avtalet lämnade legitima frågor obesvarade, särskilt kring några nya sätt som AI potentiellt kan möjliggöra laglig övervakning. Språket har nu uppdaterats för att åtgärda detta, men jag är också starkt övertygad om att världen inte ska behöva förlita sig på AI-laboratorier eller underrättelsetjänster för deras säkerhet och trygghet. Utplacering till NSA och alla andra underrättelsetjänster från Försvarsdepartementet kommer att hållas inne så att det finns tid att åtgärda dessa kryphål genom den demokratiska processen innan utplacering.
Jag vet att lagstiftning ibland kan gå långsamt, men jag är rädd för en hal sluttning där vi vänjer oss vid att kringgå den demokratiska processen för viktiga politiska beslut. När det finns tvåpartistöd och brådska har jag förtroende för att regeringen kan agera snabbt. Och i takt med att AI blir starkare än någonsin är det viktigare än någonsin att den yttersta auktoriteten ligger hos allmänheten.
Jag planerar också att bli mer personligt involverad i policyn på OpenAI. Jag tycker att det nu är viktigare än någonsin att forskare är informerade så att policyn är informerad om de extremt snabba framsteg vi ser.

Sam Altman3 mars 09:15
Här är en återpublicering av ett internt inlägg:
Vi har samarbetat med DoW för att göra några tillägg i vårt avtal för att göra våra principer mycket tydliga.
1. Vi kommer att ändra vårt avtal för att lägga till denna formulering, utöver allt annat:
"• I enlighet med tillämpliga lagar, inklusive det fjärde tillägget till USA:s konstitution, National Security Act från 1947, FISA Act från 1978, får AI-systemet inte avsiktligt användas för inhemsk övervakning av amerikanska medborgare och medborgare.
• För att undvika tvivel förstår departementet denna begränsning som att förbjuda avsiktlig spårning, övervakning eller övervakning av amerikanska personer eller medborgare, inklusive genom inköp eller användning av kommersiellt förvärvad personlig eller identifierbar information."
Det är avgörande att skydda amerikanernas medborgerliga friheter, och det var så mycket fokus på detta att vi ville göra denna poäng särskilt tydlig, även kring kommersiellt förvärvad information. Precis som med allt vi gör med iterativ implementering kommer vi fortsätta att lära oss och förfina under tiden.
Jag tycker att detta är en viktig förändring; vårt team och DoW-teamet gjorde ett fantastiskt jobb med det.
2. Departementet bekräftade också att våra tjänster inte kommer att användas av Department of Wars underrättelsetjänster (till exempel NSA). Alla tjänster till dessa myndigheter skulle kräva en efterföljande ändring av vårt kontrakt.
3. För extrem tydlighet: vi vill arbeta genom demokratiska processer. Det borde vara regeringen som fattar de viktigaste besluten om samhället. Vi vill ha en röst och en plats vid bordet där vi kan dela vår expertis och kämpa för frihetens principer. Men vi är tydliga med hur systemet fungerar (eftersom många har frågat, om jag fick vad jag trodde var ett okonstitutionellt beslut, skulle jag förstås hellre hamna i fängelse än följa det). Men
4. Det finns många saker som teknologin helt enkelt inte är redo för, och många områden där vi ännu inte förstår vilka avvägningar som krävs för säkerhet. Vi kommer att arbeta oss igenom dessa, långsamt, tillsammans med DoW, med tekniska skyddsåtgärder och andra metoder.
5. En sak jag tror att jag gjorde fel: vi borde inte ha skyndat oss att få ut det här på fredagen. Frågorna är superkomplexa och kräver tydlig kommunikation. Vi försökte verkligen lugna ner situationen och undvika ett mycket värre utfall, men jag tror det bara såg opportunistiskt och slarvigt ut. Bra lärande för mig när vi står inför beslut med högre insatser i framtiden.
I mina samtal under helgen upprepade jag att Anthropic inte bör utses till en SCR, och att vi hoppas att DoW erbjuder dem samma villkor som vi har kommit överens om.
Vi kommer att hålla en All Hands i morgon bitti för att besvara fler frågor.
234
Efter IMO-resultaten förra sommaren avfärdade vissa det som "gymnasiematematik." Vi tror att våra senaste modeller kommer att undanröja alla tvivel om att STEM-forskning är på väg att förändras i grunden.
Matematiker skapade en uppsättning av tio forskningsfrågor som uppstod naturligt ur deras egen forskning. Endast de vet svaren, och de gav världen en vecka att använda LLM för att försöka lösa dem. Vi tror att våra senaste modeller gör det möjligt att lösa flera av dem.
Detta är en intern modell för tillfället, men jag är optimistisk att vi snart kommer att släppa den (eller en bättre modell).


240
Jag uppskattar @Anthropic ärlighet i deras senaste systemkort, men innehållet ger mig inte förtroende för att företaget kommer att agera ansvarsfullt när det gäller att implementera avancerade AI-modeller:
-De förlitade sig främst på en intern undersökning för att avgöra om Opus 4.6 överskred deras autonoma AI R&D-4-tröskel (och därför skulle kräva starkare skyddsåtgärder för att släppa under deras ansvarsfulla skalningspolicy). Detta var inte ens en extern undersökning av en opartisk tredje part, utan snarare en undersökning av antropiska anställda.
-När de interna respondenterna den 16/5 initialt gav en bedömning som antydde att starkare skyddsåtgärder kunde behövas för modelllansering, följde Anthropic upp med just dessa anställda och bad dem att "klargöra sina åsikter." De nämner ingen liknande uppföljning för de övriga 11/16-respondenterna. Det finns ingen diskussion i systemkortet om hur detta kan skapa partiskhet i undersökningsresultaten.
-Deras anledning till att förlita sig på undersökningar är att deras befintliga AI-FoU-utvärderingar är mättade. Vissa kanske hävdar att AI-framstegen har gått så snabbt att det är förståeligt att de ännu inte har mer avancerade kvantitativa utvärderingar, men vi kan och bör hålla AI-labb till en hög ribba. Dessutom har andra laboratorier avancerade AI-FoU-utvärderingar som inte är mättade. Till exempel har OpenAI OPQA-benchmarken som mäter AI-modellernas förmåga att lösa verkliga interna problem som OpenAI-forskarteam stötte på och som tog teamet mer än en dag att lösa.
Jag tror inte att Opus 4.6 faktiskt är på nivå med en avancerad AI-forskare på avancerad nivå, och jag tror inte att det är farligt att släppa. Men poängen med en ansvarsfull skalningspolicy är att bygga institutionell styrka och goda vanor innan saker blir allvarliga. Interna undersökningar, särskilt som Anthropic har genomfört dem, är inte en ansvarsfull ersättning för kvantitativa utvärderingar.

504
Topp
Rankning
Favoriter
