Rubriques tendance
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Noam Brown
Recherche de raisonnement @OpenAI | Co-création des IA de poker surhumaines Libratus/Pluribus, de l’IA CICERO Diplomacy et des modèles de raisonnement OpenAI o3 / o1 🍓
tl;dr : @OpenAI ne déploiera pas à la NSA ou d'autres agences de renseignement du DoW pour l'instant, afin qu'il y ait le temps de traiter les potentielles failles de surveillance par le biais du processus démocratique.
Au cours du week-end, il est devenu clair que le langage original dans l'accord OpenAI / DoW laissait des questions légitimes sans réponse, notamment autour de certaines manières novatrices dont l'IA pourrait potentiellement permettre une surveillance légale. Le langage a maintenant été mis à jour pour traiter cela, mais je crois également fermement que le monde ne devrait pas avoir à compter sur la confiance envers les laboratoires d'IA ou les agences de renseignement pour sa sécurité. Le déploiement à la NSA et à toutes les autres agences de renseignement du DoW sera suspendu afin qu'il y ait le temps de traiter ces failles par le biais du processus démocratique avant le déploiement.
Je sais que la législation peut parfois être lente, mais j'ai peur d'une pente glissante où nous nous habituons à contourner le processus démocratique pour des décisions politiques importantes. Lorsqu'il y a un soutien bipartisan et un sentiment d'urgence, j'ai foi que le gouvernement peut agir rapidement. Et à mesure que l'IA devient plus puissante, il est plus important que jamais que l'autorité ultime soit confiée au public.
Je prévois également de m'impliquer personnellement davantage dans la politique chez OpenAI. Je pense que maintenant plus que jamais, il est important que les chercheurs soient informés afin que la politique soit au courant des progrès extrêmement rapides que nous observons.

Sam Altman3 mars, 09:15
Voici un repost d'un message interne :
Nous avons travaillé avec le DoW pour apporter quelques ajouts à notre accord afin de rendre nos principes très clairs.
1. Nous allons modifier notre accord pour ajouter ce langage, en plus de tout le reste :
"• Conformément aux lois applicables, y compris le Quatrième Amendement de la Constitution des États-Unis, la Loi sur la sécurité nationale de 1947, la Loi FISA de 1978, le système d'IA ne doit pas être utilisé intentionnellement pour la surveillance domestique des personnes et des ressortissants américains.
• Pour éviter toute ambiguïté, le Département comprend que cette limitation interdit le suivi, la surveillance ou le monitoring délibéré des personnes ou des ressortissants américains, y compris par l'acquisition ou l'utilisation d'informations personnelles ou identifiables acquises commercialement."
Il est crucial de protéger les libertés civiles des Américains, et il y avait tellement d'accent sur cela, que nous voulions rendre ce point particulièrement clair, y compris concernant les informations acquises commercialement. Tout comme tout ce que nous faisons avec un déploiement itératif, nous continuerons à apprendre et à affiner au fur et à mesure.
Je pense que c'est un changement important ; notre équipe et l'équipe du DoW ont fait un excellent travail à ce sujet.
2. Le Département a également affirmé que nos services ne seront pas utilisés par les agences de renseignement du Département de la Guerre (par exemple, la NSA). Tout service à ces agences nécessiterait une modification ultérieure de notre contrat.
3. Pour une clarté extrême : nous voulons travailler à travers des processus démocratiques. Ce devrait être le gouvernement qui prend les décisions clés concernant la société. Nous voulons avoir une voix et une place à la table où nous pouvons partager notre expertise et défendre les principes de liberté. Mais nous sommes clairs sur le fonctionnement du système (car beaucoup de gens ont demandé, si je recevais ce que je croyais être un ordre inconstitutionnel, bien sûr je préférerais aller en prison que de le suivre). Mais
4. Il y a beaucoup de choses pour lesquelles la technologie n'est tout simplement pas prête, et de nombreux domaines où nous ne comprenons pas encore les compromis nécessaires pour la sécurité. Nous travaillerons là-dessus, lentement, avec le DoW, avec des mesures de sécurité techniques et d'autres méthodes.
5. Une chose que je pense avoir mal faite : nous n'aurions pas dû nous précipiter pour sortir cela vendredi. Les problèmes sont super complexes et nécessitent une communication claire. Nous essayions sincèrement de désamorcer les choses et d'éviter un résultat bien pire, mais je pense que cela a juste semblé opportuniste et bâclé. Une bonne expérience d'apprentissage pour moi alors que nous faisons face à des décisions à enjeux plus élevés à l'avenir.
Dans mes conversations pendant le week-end, j'ai réitéré qu'Anthropic ne devrait pas être désigné comme un SCR, et que nous espérons que le DoW leur offre les mêmes conditions que celles auxquelles nous avons convenu.
Nous organiserons une réunion générale demain matin pour répondre à d'autres questions.
206
Après les résultats de l'IMO l'été dernier, certains l'ont écarté comme étant des "mathématiques de lycée". Nous pensons que nos derniers modèles dissiperont tout doute sur le fait que la recherche STEM est sur le point de changer fondamentalement.
Des mathématiciens ont créé un ensemble de 10 questions de recherche qui ont émergé naturellement de leurs propres travaux. Seuls eux connaissent les réponses, et ils ont donné au monde une semaine pour utiliser les LLM afin d'essayer de les résoudre. Nous pensons que nos derniers modèles rendent possible la résolution de plusieurs d'entre elles.
C'est un modèle interne pour l'instant, mais je suis optimiste quant à ce que nous le sortirons (ou un meilleur modèle) bientôt.


228
J'apprécie l'honnêteté d'@Anthropic dans leur dernière carte système, mais son contenu ne me donne pas confiance que l'entreprise agira de manière responsable avec le déploiement de modèles d'IA avancés :
-Ils se sont principalement appuyés sur une enquête interne pour déterminer si Opus 4.6 avait franchi leur seuil de R&D IA autonome-4 (et nécessiterait donc des protections plus strictes pour être publié dans le cadre de leur Politique de Mise à l'Échelle Responsable). Ce n'était même pas une enquête externe d'un tiers impartial, mais plutôt une enquête auprès des employés d'Anthropic.
-Lorsque 5/16 des répondants à l'enquête interne ont initialement donné une évaluation suggérant que des protections plus strictes pourraient être nécessaires pour la publication du modèle, Anthropic a suivi spécifiquement avec ces employés et leur a demandé de "clarifier leurs points de vue". Ils ne mentionnent aucun suivi similaire pour les autres 11/16 répondants. Il n'y a aucune discussion dans la carte système sur la façon dont cela pourrait créer un biais dans les résultats de l'enquête.
-Leur raison de s'appuyer sur des enquêtes est que leurs évaluations de R&D IA existantes sont saturées. Certains pourraient soutenir que les progrès de l'IA ont été si rapides qu'il est compréhensible qu'ils n'aient pas encore d'évaluations quantitatives plus avancées, mais nous pouvons et devons tenir les laboratoires d'IA à un niveau élevé. De plus, d'autres laboratoires ont des évaluations de R&D IA avancées qui ne sont pas saturées. Par exemple, OpenAI a le benchmark OPQA qui mesure la capacité des modèles d'IA à résoudre de réels problèmes internes rencontrés par les équipes de recherche d'OpenAI et qui ont pris plus d'une journée à résoudre.
Je ne pense pas qu'Opus 4.6 soit réellement au niveau d'un chercheur en IA débutant à distance, et je ne pense pas qu'il soit dangereux de le publier. Mais le but d'une Politique de Mise à l'Échelle Responsable est de construire une force institutionnelle et de bonnes habitudes avant que les choses ne deviennent sérieuses. Les enquêtes internes, surtout telles qu'Anthropic les a administrées, ne sont pas un substitut responsable aux évaluations quantitatives.

491
Meilleurs
Classement
Favoris
