Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Noam Brown
Дослідження міркувань @OpenAI | Співавтор надлюдських покерних AI Libratus/Pluribus, CICERO Diplomacy AI та OpenAI o3 / o1 / 🍓 міркувань
Коротко; dr: Наразі @OpenAI не буду розгортатися до NSA чи інших розвідувальних агентств DoW, щоб мати час вирішити потенційні лазівки у спостереженні через демократичний процес.
Протягом вихідних стало зрозуміло, що оригінальна формулювання угоди OpenAI / DoW залишила без відповіді законні питання, особливо щодо деяких нових способів, якими ШІ потенційно може забезпечити легальне спостереження. Тепер формулювання оновлено, щоб вирішити це питання, але я також твердо вірю, що світ не повинен покладатися на довіру до лабораторій ШІ чи розвідувальних агентств для їхньої безпеки та захисту. Розгортання до NSA та всіх інших розвідувальних агентств DoW буде відкладено, щоб мати час усунути ці лазівки через демократичний процес перед розгортанням.
Я знаю, що законодавство іноді може бути повільним, але боюся слизької доріжки, коли ми звикнемо обходити демократичний процес для прийняття важливих політичних рішень. Коли є двопартійна підтримка і терміновість, я вірю, що уряд може діяти швидко. І зі зростанням впливу ШІ важливіше, ніж будь-коли, щоб остаточна влада належала суспільству.
Я також планую особистіше займатися політикою в OpenAI. Я вважаю, що зараз як ніколи важливо, щоб дослідники були в курсі, щоб політика була поінформована про надзвичайно швидкий прогрес, який ми спостерігаємо.

Sam Altman3 бер., 09:15
Ось повторний пост внутрішнього допису:
Ми працюємо з DoW, щоб внести деякі доповнення до нашої угоди, щоб чітко визначити наші принципи.
1. Ми внесемо зміни до нашої угоди, додавши цю формулювання, а також усе інше:
"• Відповідно до чинних законів, включно з Четвертою поправкою до Конституції США, Законом про національну безпеку 1947 року, Законом про FISA 1978 року, система ШІ не повинна навмисно використовуватися для внутрішнього спостереження за громадянами та громадянами США.
• Для уникнення сумнівів Міністерство розуміє це обмеження як заборону навмисного відстеження, спостереження або моніторингу громадян США, зокрема через закупівлю або використання комерційно отриманої особистої або ідентифікованої інформації.»
Критично важливо захищати громадянські свободи американців, і на цьому було так багато уваги, що ми хотіли зробити це особливо чітким, зокрема щодо комерційно отриманої інформації. Як і все, що ми робимо з ітеративним розгортанням, ми будемо продовжувати вчитися і вдосконалюватися в процесі.
Я вважаю, що це важлива зміна; наша команда та команда DoW чудово попрацювали над цим.
2. Департамент також підтвердив, що наші послуги не будуть використовуватися розвідувальними агентствами Міністерства війни (наприклад, АНБ). Будь-які послуги для цих агентств вимагатимуть подальшої зміни до нашого контракту.
3. Для максимальної ясності: ми хочемо працювати через демократичні процеси. Ключові рішення щодо суспільства мають приймати уряд. Ми хочемо мати голос і місце за столом, де можемо поділитися своїм досвідом і боротися за принципи свободи. Але ми чітко розуміємо, як працює система (бо багато хто запитував: якщо я отримаю, на мою думку, неконституційний наказ, звісно, я краще піду до в'язниці, ніж підтримаю його). Але
4. Є багато речей, до яких технологія просто не готова, і багато сфер, у яких ми ще не розуміємо компромісів, необхідних для безпеки. Ми будемо працювати над цим повільно разом із DoW, з технічними гарантіями та іншими методами.
5. Одне, що, здається, я зробив не так: не варто було поспішати з цим у п'ятницю. Питання дуже складні і вимагають чіткої комунікації. Ми щиро намагалися деескалувати ситуацію і уникнути набагато гіршого результату, але, на мою думку, це виглядало як опортуністично і недбало. Для мене це хороший досвід навчання, адже ми стикаємося з більш серйозними рішеннями в майбутньому.
У своїх розмовах на вихідних я ще раз наголосив, що Anthropic не повинен отримувати статус SCR, і що ми сподіваємося, що DoW запропонує їм ті ж умови, на які ми погодилися.
Завтра вранці ми проведемо захід All Hands, щоб відповісти на додаткові запитання.
237
Після результатів IMO минулого літа деякі відкидали це як «шкільну математику». Ми вважаємо, що наші останні моделі позбавлять будь-яких сумнівів у тому, що дослідження STEM ось-ось кардинально зміняться.
Математики створили набір із 10 дослідницьких питань, які природно виникли з їхніх власних досліджень. Відповіді знають лише вони, і дали світу тиждень, щоб використати LLM для їх розв'язання. Ми вважаємо, що наші останні моделі дозволяють вирішити кілька з них.
Поки що це внутрішня модель, але я оптимістично налаштований, що ми скоро її (або кращу модель) випустимо.


251
Я ціную чесність @Anthropic у їхній останній системній картці, але її зміст не дає мені впевненості, що компанія діятиме відповідально при впровадженні передових моделей ШІ:
-Вони переважно покладалися на внутрішнє опитування, щоб визначити, чи перевищив Opus 4.6 їхній поріг автономного AI R&D-4 (і тому вимагав би посилених заходів безпеки за їхньою політикою відповідального масштабування). Це навіть не було зовнішнім опитуванням неупередженої третьої сторони, а скоріше опитуванням співробітників Anthropic.
-Коли респонденти внутрішнього опитування 16.05 спочатку дали оцінку, яка натякала на те, що для випуску моделі можуть знадобитися жорсткіші заходи безпеки, Anthropic спеціально зв'язався з цими працівниками і попросив їх «уточнити свої погляди». Вони не згадують жодних подібних подальших перевірок для інших 11/16 респондентів. У системній картці немає обговорення того, як це може створювати упередження у результатах опитування.
-Їхня причина покладатися на опитування полягає в тому, що їхні існуючі оцінки досліджень і розробок ШІ перенасичені. Дехто може стверджувати, що прогрес у сфері ШІ був настільки швидким, що зрозуміло, чому поки що немає більш просунутих кількісних оцінок, але ми можемо і повинні ставити лабораторії ШІ на високий рівень стандарту. Крім того, інші лабораторії мають просунуті оцінки ШІ, які не перенасичені. Наприклад, OpenAI має бенчмарк OPQA, який вимірює здатність моделей ШІ вирішувати реальні внутрішні проблеми, з якими стикалися дослідницькі команди OpenAI і які команді знадобилося понад день.
Я не думаю, що Opus 4.6 насправді на рівні дистанційного початкового дослідника ШІ, і не думаю, що його випускати небезпечно. Але суть політики відповідального масштабування полягає в тому, щоб нарощувати інституційну силу та хороші звички до того, як ситуація стане серйозною. Внутрішні опитування, особливо оскільки їх проводить Anthropic, не є відповідальною заміною кількісних оцінок.

513
Найкращі
Рейтинг
Вибране
