Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Noam Brown
Forsker på resonnement @OpenAI | Co-skapte Libratus/Pluribus overmenneskelige poker-AI-er, CICERO Diplomacy AI og OpenAI o3 / o1 / 🍓 resonneringsmodeller
tl; dr: @OpenAI vil ikke bli utplassert til NSA eller andre etterretningsbyråer i forsvarsdepartementet foreløpig, slik at det er tid til å ta tak i potensielle overvåkningshull gjennom den demokratiske prosessen.
I løpet av helgen ble det klart at det opprinnelige språket i OpenAI/DoW-avtalen etterlot legitime spørsmål ubesvarte, spesielt rundt noen nye måter AI potensielt kunne muliggjøre lovlig overvåkning på. Språket er nå oppdatert for å ta tak i dette, men jeg mener også sterkt at verden ikke bør måtte stole på AI-laboratorier eller etterretningstjenester for sin sikkerhet og trygghet. Utplassering til NSA og alle andre etterretningsbyråer i forsvarsloven vil bli holdt tilbake slik at det er tid til å rette opp disse smutthullene gjennom den demokratiske prosessen før utplassering.
Jeg vet at lovgivning noen ganger kan være treg, men jeg er redd for en glidende skråning hvor vi blir vant til å omgå den demokratiske prosessen for viktige politiske beslutninger. Når det er tverrpolitisk støtte og hastverk, har jeg tro på at myndighetene kan handle raskt. Og etter hvert som AI blir mektigere, er det viktigere enn noen gang at den endelige autoriteten legges til offentligheten.
Jeg planlegger også å bli mer personlig involvert i politikk hos OpenAI. Jeg mener det nå er viktigere enn noen gang at forskere er oppdatert, slik at politikken blir informert om den ekstremt raske fremgangen vi ser.

Sam Altman3. mars, 09:15
Her er en ny publisering av et internt innlegg:
Vi har samarbeidet med DoW for å gjøre noen tillegg i avtalen vår for å gjøre prinsippene våre veldig tydelige.
1. Vi skal endre avtalen vår for å legge til denne formuleringen, i tillegg til alt annet:
"• I samsvar med gjeldende lover, inkludert det fjerde grunnlovstillegget til USA, National Security Act av 1947, FISA-loven av 1978, skal AI-systemet ikke med vilje brukes til innenlandsk overvåkning av amerikanske personer og statsborgere.
• For å unngå tvil, forstår departementet denne begrensningen som å forby bevisst sporing, overvåkning eller overvåking av amerikanske personer eller statsborgere, inkludert anskaffelse eller bruk av kommersielt ervervede personlige eller identifiserbare opplysninger.»
Det er avgjørende å beskytte amerikanernes sivile rettigheter, og det var så mye fokus på dette at vi ønsket å gjøre dette poenget spesielt tydelig, også når det gjelder kommersielt innhentet informasjon. Akkurat som alt annet vi gjør med iterativ utrulling, vil vi fortsette å lære og forbedre underveis.
Jeg mener dette er en viktig endring; vårt team og DoW-teamet gjorde en flott jobb med det.
2. Departementet bekreftet også at våre tjenester ikke vil bli brukt av etterretningstjenester i Krigsdepartementet (for eksempel NSA). Eventuelle tjenester til disse byråene vil kreve en oppfølgende endring av kontrakten vår.
3. For ekstrem klarhet: vi ønsker å arbeide gjennom demokratiske prosesser. Det bør være regjeringen som tar de viktigste beslutningene om samfunnet. Vi ønsker å ha en stemme, og en plass ved bordet hvor vi kan dele vår ekspertise, og kjempe for prinsipper om frihet. Men vi er klare på hvordan systemet fungerer (fordi mange har spurt, hvis jeg fikk det jeg mente var en grunnlovsstridig ordre, ville jeg selvfølgelig heller havnet i fengsel enn å følge den). Men
4. Det er mange ting teknologien rett og slett ikke er klar for, og mange områder vi ennå ikke forstår avveiningene som kreves for sikkerhet. Vi vil jobbe oss gjennom disse, sakte, sammen med DoW, med tekniske sikkerhetstiltak og andre metoder.
5. En ting jeg tror jeg gjorde feil: vi burde ikke ha hastet med å få dette ut på fredag. Problemstillingene er svært komplekse og krever klar kommunikasjon. Vi prøvde oppriktig å roe ned situasjonen og unngå et mye verre utfall, men jeg tror det bare virket opportunistisk og slurvete. God læringsopplevelse for meg når vi står overfor mer krevende beslutninger i fremtiden.
I samtalene mine i helgen gjentok jeg at Anthropic ikke bør utpekes som en SCR, og at vi håper DoW tilbyr dem de samme vilkårene vi har blitt enige om.
Vi arrangerer en All Hands i morgen tidlig for å svare på flere spørsmål.
224
Etter IMO-resultatene i fjor sommer, avfeide noen det som «videregående matematikk». Vi tror våre nyeste modeller vil fjerne enhver tvil om at STEM-forskning er i ferd med å endre seg fundamentalt.
Matematikere laget et sett med 10 forskningsspørsmål som oppsto naturlig fra deres egen forskning. Bare de vet svarene, og de ga verden en uke til å bruke LLM-er for å prøve å løse dem. Vi tror våre nyeste modeller gjør det mulig å løse flere av dem.
Dette er en intern modell foreløpig, men jeg er optimistisk med tanke på at vi snart får den (eller en bedre modell) ut.


237
Jeg setter pris på @Anthropic ærlighet i deres nyeste systemkort, men innholdet gir meg ikke tro på at selskapet vil handle ansvarlig med implementering av avanserte AI-modeller:
-De baserte seg hovedsakelig på en intern undersøkelse for å avgjøre om Opus 4.6 krysset deres autonome AI R&D-4-terskel (og derfor ville kreve sterkere sikkerhetstiltak under deres Responsible Scaling Policy). Dette var ikke engang en ekstern undersøkelse av en upartisk tredjepart, men snarere en undersøkelse av antropiske ansatte.
-Da respondentene i 5/16-undersøkelsen først ga en vurdering som antydet at sterkere sikkerhetsmekanismer kunne være nødvendige for modellutgivelse, fulgte Anthropic opp med disse ansatte spesifikt og ba dem «klargjøre sine synspunkter.» De nevner ikke noe lignende oppfølging for de andre 11/16-respondentene. Det er ingen diskusjon i systemkortet om hvordan dette kan skape skjevhet i undersøkelsesresultatene.
-Grunnen til at de stoler på undersøkelser er at deres eksisterende AI FoU-evalueringer er mettet. Noen vil kanskje hevde at AI-fremgangen har vært så rask at det er forståelig at de ikke har mer avanserte kvantitative evalueringer ennå, men vi kan og bør holde AI-laboratorier til en høy standard. I tillegg har andre laboratorier avanserte AI FoU-evalueringer som ikke er mettede. For eksempel har OpenAI OPQA-benchmarken som måler AI-modellenes evne til å løse reelle interne problemer som OpenAI-forskningsteam støtte på, og som teamet tok mer enn en dag å løse.
Jeg tror ikke Opus 4.6 faktisk er på nivå med en fjern entry-level AI-forsker, og jeg tror ikke det er farlig å gi ut. Men poenget med en Responsible Scaling Policy er å bygge institusjonell styrke og gode vaner før ting blir alvorlige. Interne undersøkelser, spesielt slik Anthropic har gjennomført dem, er ikke en ansvarlig erstatning for kvantitative evalueringer.

502
Topp
Rangering
Favoritter
