Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Noam Brown
Onderzoek naar redeneren @OpenAI | Co-creatie van Libratus/Pluribus bovenmenselijke poker-AI's, CICERO Diplomacy AI en OpenAI o3 / o1 / 🍓 redeneermodellen
tl;dr: @OpenAI zal voorlopig niet worden ingezet bij de NSA of andere DoW-inlichtingendiensten, zodat er tijd is om mogelijke surveillance-leemtes via het democratische proces aan te pakken.
Tijdens het weekend werd duidelijk dat de oorspronkelijke formulering in de OpenAI / DoW-overeenkomst legitieme vragen onbeantwoord liet, vooral over enkele nieuwe manieren waarop AI mogelijk legale surveillance zou kunnen mogelijk maken. De formulering is nu bijgewerkt om dit aan te pakken, maar ik geloof ook sterk dat de wereld niet afhankelijk zou moeten zijn van vertrouwen in AI-laboratoria of inlichtingendiensten voor hun veiligheid en beveiliging. De inzet bij de NSA en alle andere DoW-inlichtingendiensten zal worden uitgesteld zodat er tijd is om deze leemtes via het democratische proces aan te pakken voordat de inzet plaatsvindt.
Ik weet dat wetgeving soms traag kan zijn, maar ik ben bang voor een glijdende schaal waarbij we gewend raken om het democratische proces te omzeilen voor belangrijke beleidsbeslissingen. Wanneer er bipartijdige steun en urgentie is, heb ik vertrouwen dat de overheid snel kan handelen. En naarmate AI krachtiger wordt, is het belangrijker dan ooit dat de uiteindelijke autoriteit bij het publiek ligt.
Ik ben ook van plan om persoonlijk meer betrokken te raken bij het beleid bij OpenAI. Ik denk dat het nu belangrijker is dan ooit dat onderzoekers op de hoogte zijn, zodat het beleid geïnformeerd is over de extreem snelle vooruitgang die we zien.

Sam Altman3 mrt, 09:15
Hier is een herplaatsing van een interne post:
We hebben samengewerkt met de DoW om enkele aanvullingen in onze overeenkomst aan te brengen om onze principes heel duidelijk te maken.
1. We gaan onze deal aanpassen om deze tekst toe te voegen, naast alles wat er al is:
"• In overeenstemming met de toepasselijke wetten, inclusief het Vierde Amendement van de Grondwet van de Verenigde Staten, de National Security Act van 1947, de FISA Act van 1978, mag het AI-systeem niet opzettelijk worden gebruikt voor binnenlandse surveillance van Amerikaanse personen en staatsburgers.
• Voor de duidelijkheid begrijpt het Departement deze beperking als een verbod op opzettelijke tracking, surveillance of monitoring van Amerikaanse personen of staatsburgers, inclusief via de verwerving of het gebruik van commercieel verworven persoonlijke of identificeerbare informatie."
Het is cruciaal om de burgerlijke vrijheden van Amerikanen te beschermen, en er was zoveel focus op dit onderwerp, dat we dit punt vooral duidelijk wilden maken, ook met betrekking tot commercieel verworven informatie. Net als bij alles wat we doen met iteratieve implementatie, zullen we blijven leren en verfijnen terwijl we verder gaan.
Ik denk dat dit een belangrijke verandering is; ons team en het DoW-team hebben geweldig werk geleverd.
2. Het Departement heeft ook bevestigd dat onze diensten niet zullen worden gebruikt door inlichtingendiensten van het Ministerie van Oorlog (bijvoorbeeld de NSA). Diensten aan die agentschappen zouden een vervolgwijziging van ons contract vereisen.
3. Voor extreme duidelijkheid: we willen werken via democratische processen. Het zou de overheid moeten zijn die de belangrijkste beslissingen over de samenleving neemt. We willen een stem hebben en een plek aan de tafel waar we onze expertise kunnen delen en vechten voor principes van vrijheid. Maar we zijn duidelijk over hoe het systeem werkt (omdat veel mensen hebben gevraagd, als ik een bevel zou ontvangen dat ik als ongrondwettelijk beschouwde, zou ik natuurlijk liever naar de gevangenis gaan dan het te volgen). Maar
4. Er zijn veel dingen waarvoor de technologie gewoon nog niet klaar is, en veel gebieden waar we de afwegingen die nodig zijn voor veiligheid nog niet begrijpen. We zullen hier langzaam doorheen werken, met de DoW, met technische waarborgen en andere methoden.
5. Eén ding dat ik denk dat ik verkeerd heb gedaan: we hadden niet zo snel dit op vrijdag moeten uitbrengen. De kwesties zijn super complex en vereisen duidelijke communicatie. We probeerden oprecht de zaken te de-escaleren en een veel slechtere uitkomst te vermijden, maar ik denk dat het er gewoon opportunistisch en slordig uitzag. Goede leerervaring voor mij terwijl we in de toekomst met beslissingen van hogere inzet te maken krijgen.
In mijn gesprekken in het weekend heb ik herhaald dat Anthropic niet als een SCR moet worden aangemerkt, en dat we hopen dat de DoW hen dezelfde voorwaarden biedt die we zijn overeengekomen.
We zullen morgen ochtend een All Hands houden om meer vragen te beantwoorden.
204
Na de IMO-resultaten van afgelopen zomer, verwierpen sommigen het als "wiskunde van de middelbare school." Wij denken dat onze nieuwste modellen elke twijfel zullen wegnemen dat STEM-onderzoek op het punt staat fundamenteel te veranderen.
Wiskundigen hebben een set van 10 onderzoeksvragen gecreëerd die natuurlijk voortkwamen uit hun eigen onderzoek. Alleen zij kennen de antwoorden, en ze gaven de wereld een week de tijd om LLM's te gebruiken om te proberen ze op te lossen. Wij denken dat onze nieuwste modellen het mogelijk maken om verschillende van deze vragen op te lossen.
Dit is voorlopig een intern model, maar ik ben optimistisch dat we het (of een beter model) binnenkort zullen uitbrengen.


226
Ik waardeer de eerlijkheid van @Anthropic in hun laatste systeemkaart, maar de inhoud ervan geeft me geen vertrouwen dat het bedrijf verantwoordelijk zal handelen bij de inzet van geavanceerde AI-modellen:
-Ze hebben voornamelijk vertrouwd op een interne enquête om te bepalen of Opus 4.6 hun autonome AI R&D-4 drempel overschreed (en dus sterkere waarborgen nodig zou hebben voor vrijgave onder hun Responsible Scaling Policy). Dit was niet eens een externe enquête van een onpartijdige derde partij, maar eerder een enquête onder Anthropic-medewerkers.
-Toen 5/16 interne enquête-respondenten aanvankelijk een beoordeling gaven die suggereerde dat sterkere waarborgen nodig zouden kunnen zijn voor de vrijgave van het model, heeft Anthropic specifiek contact opgenomen met die medewerkers en hen gevraagd om "hun standpunten te verduidelijken." Ze vermelden geen soortgelijke follow-up voor de andere 11/16 respondenten. Er is geen discussie in de systeemkaart over hoe dit bias in de enquête-resultaten kan creëren.
-Hun reden om op enquêtes te vertrouwen is dat hun bestaande AI R&D-evaluaties verzadigd zijn. Sommigen zouden kunnen beweren dat de vooruitgang in AI zo snel is gegaan dat het begrijpelijk is dat ze nog geen meer geavanceerde kwantitatieve evaluaties hebben, maar we kunnen en moeten AI-laboratoria aan een hoge standaard houden. Ook hebben andere laboratoria wel geavanceerde AI R&D-evaluaties die niet verzadigd zijn. Bijvoorbeeld, OpenAI heeft de OPQA-benchmark die de mogelijkheid van AI-modellen meet om echte interne problemen op te lossen die OpenAI-onderzoeksteams zijn tegengekomen en die het team meer dan een dag kostte om op te lossen.
Ik denk niet dat Opus 4.6 daadwerkelijk op het niveau is van een remote instapniveau AI-onderzoeker, en ik denk niet dat het gevaarlijk is om het vrij te geven. Maar het punt van een Responsible Scaling Policy is om institutionele kracht en goede gewoonten op te bouwen voordat dingen serieus worden. Interne enquêtes, vooral zoals Anthropic ze heeft uitgevoerd, zijn geen verantwoord substituut voor kwantitatieve evaluaties.

489
Boven
Positie
Favorieten
