Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Noam Brown
Исследование @OpenAI рассуждений | Соавтор сверхчеловеческих покерных ИИ Libratus/Pluribus, ИИ CICERO Diplomacy и моделей рассуждений OpenAI o3 / o1 / 🍓
Кратко: @OpenAI не будет развертываться в NSA или других разведывательных агентствах DoW на данный момент, чтобы было время решить потенциальные лазейки в наблюдении через демократический процесс.
На выходных стало ясно, что первоначальный текст соглашения OpenAI / DoW оставил законные вопросы без ответа, особенно касающиеся некоторых новых способов, которыми ИИ потенциально может позволить законное наблюдение. Текст теперь обновлен, чтобы решить эту проблему, но я также твердо верю, что мир не должен полагаться на доверие к лабораториям ИИ или разведывательным агентствам для своей безопасности и защиты. Развертывание в NSA и все другие разведывательные агентства DoW будет приостановлено, чтобы было время решить эти лазейки через демократический процесс перед развертыванием.
Я знаю, что законодательство иногда может быть медленным, но я боюсь скользкой дорожки, когда мы привыкаем обходить демократический процесс для важных политических решений. Когда есть двусторонняя поддержка и срочность, я верю, что правительство может действовать быстро. И по мере того как ИИ становится все более мощным, важно, чтобы окончательная власть была передана обществу.
Я также планирую стать более лично вовлеченным в политику в OpenAI. Я думаю, что сейчас как никогда важно, чтобы исследователи были в курсе, чтобы политика была информирована о чрезвычайно быстром прогрессе, который мы наблюдаем.

Sam Altman3 мар., 09:15
Вот перепост внутреннего сообщения:
Мы работали с DoW, чтобы внести некоторые дополнения в наше соглашение, чтобы сделать наши принципы очень ясными.
1. Мы собираемся изменить нашу сделку, чтобы добавить этот текст, помимо всего остального:
"• В соответствии с применимыми законами, включая Четвертую поправку к Конституции Соединенных Штатов, Закон о национальной безопасности 1947 года, Закон FISA 1978 года, система ИИ не должна намеренно использоваться для внутреннего наблюдения за гражданами и националами США.
• Для избежания сомнений, Министерство понимает это ограничение как запрет на преднамеренное отслеживание, наблюдение или мониторинг граждан или националов США, включая закупку или использование коммерчески приобретенной личной или идентифицируемой информации."
Критически важно защищать гражданские свободы американцев, и на это было так много внимания, что мы хотели сделать этот момент особенно ясным, включая информацию, приобретенную коммерческим путем. Как и во всем, что мы делаем с итеративным развертыванием, мы будем продолжать учиться и уточнять по мере продвижения.
Я думаю, что это важное изменение; наша команда и команда DoW отлично поработали над этим.
2. Министерство также подтвердило, что наши услуги не будут использоваться разведывательными агентствами Министерства войны (например, NSA). Любые услуги для этих агентств потребуют последующей модификации нашего контракта.
3. Для крайней ясности: мы хотим работать через демократические процессы. Это должно быть правительство, принимающее ключевые решения о обществе. Мы хотим иметь голос и место за столом, где можем поделиться своим опытом и бороться за принципы свободы. Но мы четко понимаем, как работает система (потому что многие люди спрашивали, если я получу то, что считаю неконституционным приказом, конечно, я предпочел бы пойти в тюрьму, чем следовать ему). Но
4. Есть много вещей, для которых технологии просто не готовы, и многие области, в которых мы еще не понимаем компромиссы, необходимые для безопасности. Мы будем работать над этим медленно, с DoW, с техническими мерами безопасности и другими методами.
5. Одна вещь, которую я думаю, что сделал неправильно: нам не следовало спешить с этим в пятницу. Проблемы очень сложные и требуют четкой коммуникации. Мы искренне пытались деэскалировать ситуацию и избежать гораздо худшего исхода, но, я думаю, это выглядело как возможность и небрежно. Хороший опыт для меня, когда мы сталкиваемся с решениями более высокого уровня в будущем.
В своих разговорах на выходных я повторил, что Anthropic не должен быть назначен как SCR, и что мы надеемся, что DoW предложит им те же условия, которые мы согласовали.
Завтра утром мы проведем общее собрание, чтобы ответить на дополнительные вопросы.
205
После результатов IMO прошлым летом некоторые отвергли это как "математику старшей школы". Мы считаем, что наши последние модели развеют любые сомнения в том, что исследования в области STEM вот-вот изменятся кардинально.
Математики создали набор из 10 исследовательских вопросов, которые возникли естественным образом из их собственных исследований. Только они знают ответы, и они дали миру неделю, чтобы использовать LLM для попытки их решить. Мы считаем, что наши последние модели позволяют решить несколько из них.
Это внутренняя модель на данный момент, но я оптимистично настроен, что мы выпустим её (или лучшую модель) в ближайшее время.


227
Я ценю честность @Anthropic в их последней системной карточке, но содержание её не внушает мне уверенности в том, что компания будет действовать ответственно при развертывании продвинутых AI моделей:
- Они в основном полагались на внутренний опрос, чтобы определить, пересекла ли Opus 4.6 их порог автономных AI НИОКР-4 (и, следовательно, потребует более строгих мер предосторожности для выпуска в рамках их Политики Ответственного Масштабирования). Это даже не был внешний опрос беспристрастной третьей стороны, а скорее опрос сотрудников Anthropic.
- Когда 5 из 16 респондентов внутреннего опроса изначально дали оценку, которая предполагала, что для выпуска модели могут потребоваться более строгие меры предосторожности, Anthropic последовал за этими сотрудниками и попросил их "уточнить свои взгляды". Они не упоминают о каком-либо подобном последующем контакте с другими 11 из 16 респондентов. В системной карточке нет обсуждения того, как это может создать предвзятость в результатах опроса.
- Их причина полагаться на опросы заключается в том, что их существующие оценки НИОКР AI насыщены. Некоторые могут утверждать, что прогресс AI был настолько быстрым, что вполне понятно, что у них нет более продвинутых количественных оценок, но мы можем и должны ставить высокие требования к лабораториям AI. Кроме того, другие лаборатории имеют продвинутые оценки НИОКР AI, которые не насыщены. Например, OpenAI имеет бенчмарк OPQA, который измеряет способность AI моделей решать реальные внутренние проблемы, с которыми столкнулись исследовательские группы OpenAI и которые потребовали от команды более суток для решения.
Я не думаю, что Opus 4.6 на самом деле находится на уровне удаленного начинающего AI исследователя, и я не думаю, что его выпуск опасен. Но суть Политики Ответственного Масштабирования заключается в том, чтобы развивать институциональную силу и хорошие привычки, прежде чем дела станут серьезными. Внутренние опросы, особенно так, как их проводил Anthropic, не являются ответственным заменителем количественных оценок.

490
Топ
Рейтинг
Избранное
