Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Noam Brown
Badanie @OpenAI rozumowania | Współtworzył nadludzkie pokerowe sztuczne inio Libratus/Pluribus, sztuczną inteligencję CICERO Diplomacy i modele rozumowania OpenAI o3 / o1 / 🍓
tl;dr: @OpenAI nie będzie wdrażać się w NSA ani innych agencjach wywiadowczych DoW na razie, aby było czas na rozwiązanie potencjalnych luk w nadzorze poprzez proces demokratyczny.
W miniony weekend stało się jasne, że pierwotny język w umowie OpenAI / DoW pozostawił uzasadnione pytania bez odpowiedzi, szczególnie w odniesieniu do niektórych nowatorskich sposobów, w jakie AI mogłoby potencjalnie umożliwić legalny nadzór. Język został teraz zaktualizowany, aby to uwzględnić, ale również mocno wierzę, że świat nie powinien polegać na zaufaniu do laboratoriów AI lub agencji wywiadowczych w kwestii ich bezpieczeństwa i ochrony. Wdrożenie w NSA i wszystkich innych agencjach wywiadowczych DoW zostanie wstrzymane, aby był czas na rozwiązanie tych luk poprzez proces demokratyczny przed wdrożeniem.
Wiem, że legislacja czasami może być powolna, ale obawiam się śliskiego stoku, w którym przyzwyczajamy się do omijania procesu demokratycznego w ważnych decyzjach politycznych. Kiedy istnieje dwupartyjne poparcie i pilność, wierzę, że rząd może działać szybko. A gdy AI staje się coraz potężniejsze, ważniejsze niż kiedykolwiek jest, aby ostateczna władza była powierzona społeczeństwu.
Planuję również bardziej osobiście zaangażować się w politykę w OpenAI. Uważam, że teraz bardziej niż kiedykolwiek ważne jest, aby badacze byli na bieżąco, aby polityka była informowana o niezwykle szybkim postępie, który obserwujemy.

Sam Altman3 mar, 09:15
Oto powtórka wewnętrznego posta:
Pracowaliśmy z DoW nad wprowadzeniem kilku zmian w naszej umowie, aby nasze zasady były bardzo jasne.
1. Zmienimy naszą umowę, aby dodać ten zapis, oprócz wszystkiego innego:
"• Zgodnie z obowiązującymi przepisami prawa, w tym Czwartą Poprawką do Konstytucji Stanów Zjednoczonych, Ustawą o Bezpieczeństwie Narodowym z 1947 roku, Ustawą FISA z 1978 roku, system AI nie może być celowo wykorzystywany do krajowej inwigilacji obywateli i narodów USA.
• Dla uniknięcia wątpliwości, Departament rozumie to ograniczenie jako zakaz celowego śledzenia, inwigilacji lub monitorowania obywateli lub narodów USA, w tym poprzez pozyskiwanie lub wykorzystywanie komercyjnie nabytych informacji osobistych lub identyfikowalnych."
Ochrona praw obywatelskich Amerykanów jest kluczowa, a ponieważ tak wiele uwagi poświęcono temu tematowi, chcieliśmy to szczególnie wyraźnie zaznaczyć, w tym w odniesieniu do komercyjnie nabytych informacji. Tak jak w przypadku wszystkiego, co robimy w ramach iteracyjnego wdrażania, będziemy nadal uczyć się i udoskonalać w miarę postępu.
Uważam, że to ważna zmiana; nasz zespół i zespół DoW wykonali świetną robotę, pracując nad tym.
2. Departament również potwierdził, że nasze usługi nie będą wykorzystywane przez agencje wywiadowcze Departamentu Wojny (na przykład NSA). Jakiekolwiek usługi dla tych agencji wymagałyby późniejszej modyfikacji naszej umowy.
3. Dla skrajnej jasności: chcemy działać w ramach demokratycznych procesów. To rząd powinien podejmować kluczowe decyzje dotyczące społeczeństwa. Chcemy mieć głos i miejsce przy stole, gdzie możemy dzielić się naszą wiedzą i walczyć o zasady wolności. Ale jesteśmy świadomi, jak działa system (ponieważ wiele osób pytało, co bym zrobił, gdybym otrzymał to, co uważałem za niekonstytucyjne polecenie, oczywiście wolałbym iść do więzienia niż je wykonać). Ale
4. Jest wiele rzeczy, do których technologia po prostu nie jest jeszcze gotowa, i wiele obszarów, w których jeszcze nie rozumiemy wymaganych kompromisów dla bezpieczeństwa. Będziemy przez to przechodzić powoli, z DoW, z technicznymi zabezpieczeniami i innymi metodami.
5. Jedna rzecz, którą uważam, że zrobiłem źle: nie powinniśmy się spieszyć, aby to opublikować w piątek. Problemy są bardzo złożone i wymagają jasnej komunikacji. Naprawdę staraliśmy się deeskalować sytuację i uniknąć znacznie gorszego wyniku, ale myślę, że to po prostu wyglądało na oportunistyczne i niechlujne. Dobre doświadczenie edukacyjne dla mnie, gdy stajemy przed decyzjami o wyższej stawce w przyszłości.
W moich rozmowach w weekend powtórzyłem, że Anthropic nie powinien być wyznaczony jako SCR i mamy nadzieję, że DoW zaoferuje im te same warunki, na które się zgodziliśmy.
Jutro rano zorganizujemy spotkanie All Hands, aby odpowiedzieć na więcej pytań.
203
Po wynikach IMO zeszłego lata, niektórzy zlekceważyli to jako „matematykę z liceum”. Uważamy, że nasze najnowsze modele usuną wszelkie wątpliwości, że badania STEM mają się fundamentalnie zmienić.
Matematycy stworzyli zestaw 10 pytań badawczych, które naturalnie wynikły z ich własnych badań. Tylko oni znają odpowiedzi i dali światu tydzień na wykorzystanie LLM do próby ich rozwiązania. Uważamy, że nasze najnowsze modele umożliwiają rozwiązanie kilku z nich.
To jest model wewnętrzny na razie, ale jestem optymistyczny, że wkrótce go (lub lepszy model) udostępnimy.


225
Doceniam szczerość @Anthropic w ich najnowszej karcie systemu, ale jej treść nie daje mi pewności, że firma będzie działać odpowiedzialnie przy wdrażaniu zaawansowanych modeli AI:
- Głównie polegali na wewnętrznej ankiecie, aby określić, czy Opus 4.6 przekroczył ich próg autonomicznych badań i rozwoju AI R&D-4 (a zatem wymagałby silniejszych zabezpieczeń do wydania zgodnie z ich Polityką Odpowiedzialnego Skalowania). To nie była nawet zewnętrzna ankieta przeprowadzona przez bezstronną stronę trzecią, lecz raczej ankieta wśród pracowników Anthropic.
- Kiedy 5/16 respondentów wewnętrznej ankiety początkowo oceniło, że mogą być potrzebne silniejsze zabezpieczenia przy wydaniu modelu, Anthropic skontaktował się z tymi pracownikami i poprosił ich o "wyjaśnienie ich poglądów." Nie wspominają o żadnym podobnym follow-upie dla pozostałych 11/16 respondentów. W karcie systemu nie ma dyskusji na temat tego, jak może to wprowadzać stronniczość w wynikach ankiety.
- Ich powód polegania na ankietach to fakt, że ich istniejące oceny R&D AI są nasycone. Niektórzy mogą argumentować, że postęp w AI był tak szybki, że zrozumiałe jest, że nie mają jeszcze bardziej zaawansowanych ocen ilościowych, ale możemy i powinniśmy stawiać laboratoria AI na wysokim poziomie. Ponadto inne laboratoria mają zaawansowane oceny R&D AI, które nie są nasycone. Na przykład, OpenAI ma benchmark OPQA, który mierzy zdolność modeli AI do rozwiązywania rzeczywistych problemów wewnętrznych, z którymi napotkały zespoły badawcze OpenAI i które zajęły zespołowi więcej niż jeden dzień do rozwiązania.
Nie sądzę, aby Opus 4.6 był rzeczywiście na poziomie zdalnego początkującego badacza AI, i nie sądzę, że jego wydanie jest niebezpieczne. Ale celem Polityki Odpowiedzialnego Skalowania jest budowanie instytucjonalnej siły i dobrych nawyków, zanim sprawy staną się poważne. Wewnętrzne ankiety, zwłaszcza takie, jakie przeprowadził Anthropic, nie są odpowiedzialnym substytutem dla ocen ilościowych.

487
Najlepsze
Ranking
Ulubione
