Trend-Themen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Noam Brown
Logisches Denken @OpenAI erforschen | Mitentwickelt von übermenschlichen Poker-KIs von Libratus/Pluribus, CICERO Diplomacy AI und OpenAI o3 / o1 / 🍓 Reasoning-Modellen
tl;dr: @OpenAI wird vorerst nicht an die NSA oder andere DoW-Geheimdienste ausliefern, damit Zeit bleibt, um potenzielle Überwachungsprobleme durch den demokratischen Prozess anzugehen.
Am Wochenende wurde klar, dass die ursprüngliche Formulierung im OpenAI / DoW-Abkommen legitime Fragen unbeantwortet ließ, insbesondere zu einigen neuartigen Möglichkeiten, wie KI potenziell legale Überwachung ermöglichen könnte. Die Formulierung wurde jetzt aktualisiert, um dies zu berücksichtigen, aber ich glaube auch fest daran, dass die Welt nicht auf das Vertrauen in KI-Labore oder Geheimdienste für ihre Sicherheit und ihren Schutz angewiesen sein sollte. Die Auslieferung an die NSA und alle anderen DoW-Geheimdienste wird zurückgehalten, damit Zeit bleibt, diese Schlupflöcher durch den demokratischen Prozess vor der Auslieferung anzugehen.
Ich weiß, dass Gesetzgebungsverfahren manchmal langsam sein können, aber ich habe Angst vor einem schlüpfrigen Hang, bei dem wir uns daran gewöhnen, den demokratischen Prozess für wichtige politische Entscheidungen zu umgehen. Wenn es parteiübergreifende Unterstützung und Dringlichkeit gibt, habe ich Vertrauen, dass die Regierung schnell handeln kann. Und da KI immer mächtiger wird, ist es wichtiger denn je, dass die letztendliche Autorität beim Publikum liegt.
Ich plane auch, mich persönlich stärker in die Politik bei OpenAI einzubringen. Ich denke, jetzt mehr denn je ist es wichtig, dass Forscher informiert sind, damit die Politik über den extrem schnellen Fortschritt, den wir sehen, informiert ist.

Sam Altman3. März, 09:15
Hier ist ein Re-Post eines internen Beitrags:
Wir haben mit dem DoW zusammengearbeitet, um einige Ergänzungen in unserem Vertrag vorzunehmen, um unsere Prinzipien sehr klar zu machen.
1. Wir werden unser Geschäft ändern, um diese Formulierung hinzuzufügen, zusätzlich zu allem anderen:
"• In Übereinstimmung mit den geltenden Gesetzen, einschließlich des vierten Zusatzartikels zur Verfassung der Vereinigten Staaten, des National Security Act von 1947, des FISA-Gesetzes von 1978, darf das KI-System nicht absichtlich für die Inlandsüberwachung von US-Personen und Staatsangehörigen verwendet werden.
• Um Missverständnisse zu vermeiden, versteht das Ministerium diese Einschränkung so, dass absichtliches Tracking, Überwachung oder Monitoring von US-Personen oder Staatsangehörigen, einschließlich durch den Erwerb oder die Nutzung von kommerziell erworbenen persönlichen oder identifizierbaren Informationen, verboten ist."
Es ist entscheidend, die Bürgerrechte der Amerikaner zu schützen, und es gab so viel Fokus darauf, dass wir diesen Punkt besonders klar machen wollten, auch in Bezug auf kommerziell erworbene Informationen. Genau wie bei allem, was wir mit iterativer Bereitstellung tun, werden wir weiterhin lernen und verfeinern, während wir vorankommen.
Ich denke, das ist eine wichtige Änderung; unser Team und das DoW-Team haben großartige Arbeit geleistet.
2. Das Ministerium hat auch bestätigt, dass unsere Dienste nicht von den Geheimdiensten des Kriegsministeriums (zum Beispiel der NSA) genutzt werden. Jegliche Dienste für diese Agenturen würden eine nachfolgende Änderung unseres Vertrags erfordern.
3. Zur extremen Klarheit: Wir wollen durch demokratische Prozesse arbeiten. Es sollte die Regierung sein, die die entscheidenden Entscheidungen über die Gesellschaft trifft. Wir wollen eine Stimme haben und einen Platz am Tisch, wo wir unser Fachwissen teilen können, und für Prinzipien der Freiheit kämpfen. Aber wir sind uns klar darüber, wie das System funktioniert (weil viele Leute gefragt haben, ob ich einen Befehl erhalten habe, von dem ich glaubte, dass er verfassungswidrig war, würde ich natürlich lieber ins Gefängnis gehen, als ihm zu folgen). Aber
4. Es gibt viele Dinge, für die die Technologie einfach noch nicht bereit ist, und viele Bereiche, in denen wir die erforderlichen Kompromisse für die Sicherheit noch nicht verstehen. Wir werden diese langsam mit dem DoW bearbeiten, mit technischen Sicherheitsvorkehrungen und anderen Methoden.
5. Eine Sache, die ich denke, die ich falsch gemacht habe: Wir hätten nicht so schnell versuchen sollen, das am Freitag herauszubekommen. Die Probleme sind super komplex und erfordern klare Kommunikation. Wir haben wirklich versucht, die Dinge zu deeskalieren und ein viel schlimmeres Ergebnis zu vermeiden, aber ich denke, es sah einfach opportunistisch und schlampig aus. Eine gute Lernerfahrung für mich, während wir in Zukunft mit Entscheidungen mit höheren Einsätzen konfrontiert werden.
In meinen Gesprächen am Wochenende habe ich wiederholt, dass Anthropic nicht als SCR bezeichnet werden sollte, und dass wir hoffen, dass das DoW ihnen die gleichen Bedingungen anbietet, die wir vereinbart haben.
Wir werden morgen früh ein All Hands-Meeting abhalten, um weitere Fragen zu beantworten.
236
Nach den IMO-Ergebnissen letzten Sommer wiesen einige darauf hin, dass es sich um "Mathe aus der Oberstufe" handele. Wir glauben, dass unsere neuesten Modelle jeden Zweifel ausräumen werden, dass die STEM-Forschung kurz davor steht, sich grundlegend zu verändern.
Mathematiker haben eine Reihe von 10 Forschungsfragen erstellt, die natürlich aus ihrer eigenen Forschung entstanden sind. Nur sie kennen die Antworten, und sie gaben der Welt eine Woche Zeit, um LLMs zu nutzen, um zu versuchen, sie zu lösen. Wir glauben, dass unsere neuesten Modelle es möglich machen, mehrere davon zu lösen.
Dies ist vorerst ein internes Modell, aber ich bin optimistisch, dass wir es (oder ein besseres Modell) bald herausbringen werden.


250
Ich schätze die Ehrlichkeit von @Anthropic in ihrem neuesten Systembericht, aber der Inhalt gibt mir kein Vertrauen, dass das Unternehmen verantwortungsbewusst mit der Bereitstellung fortschrittlicher KI-Modelle umgehen wird:
-Sie haben sich hauptsächlich auf eine interne Umfrage verlassen, um zu bestimmen, ob Opus 4.6 ihre autonome KI-F&E-4-Schwelle überschreitet (und somit stärkere Sicherheitsvorkehrungen für die Veröffentlichung unter ihrer Richtlinie für verantwortungsvolles Skalieren erforderlich wären). Dies war nicht einmal eine externe Umfrage eines unparteiischen Dritten, sondern vielmehr eine Umfrage unter Anthropic-Mitarbeitern.
-W als 5/16 der internen Umfrageteilnehmer zunächst eine Einschätzung abgaben, die darauf hindeutete, dass stärkere Sicherheitsvorkehrungen für die Modellveröffentlichung erforderlich sein könnten, hat Anthropic diese Mitarbeiter gezielt kontaktiert und sie gebeten, ihre Ansichten "zu klären". Sie erwähnen keine ähnliche Nachverfolgung für die anderen 11/16 Teilnehmer. Im Systembericht wird nicht diskutiert, wie dies zu einer Verzerrung der Umfrageergebnisse führen könnte.
-Ihr Grund für die Abhängigkeit von Umfragen ist, dass ihre bestehenden KI-F&E-Bewertungen gesättigt sind. Einige könnten argumentieren, dass der Fortschritt der KI so schnell war, dass es verständlich ist, dass sie noch keine fortschrittlicheren quantitativen Bewertungen haben, aber wir können und sollten KI-Labore an hohe Standards halten. Auch andere Labore haben fortschrittliche KI-F&E-Bewertungen, die nicht gesättigt sind. Zum Beispiel hat OpenAI den OPQA-Benchmark, der die Fähigkeit von KI-Modellen misst, reale interne Probleme zu lösen, auf die die Forschungsteams von OpenAI gestoßen sind und die das Team mehr als einen Tag zur Lösung benötigte.
Ich glaube nicht, dass Opus 4.6 tatsächlich auf dem Niveau eines entfernten Einstiegs-KI-Forschers ist, und ich denke nicht, dass es gefährlich ist, es zu veröffentlichen. Aber der Sinn einer Richtlinie für verantwortungsvolles Skalieren ist es, institutionelle Stärke und gute Gewohnheiten aufzubauen, bevor die Dinge ernst werden. Interne Umfragen, insbesondere wie Anthropic sie durchgeführt hat, sind kein verantwortungsbewusster Ersatz für quantitative Bewertungen.

512
Top
Ranking
Favoriten
