Chủ đề thịnh hành
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Noam Brown
Nghiên cứu lý luận @OpenAI | Đồng tạo ra các AI poker siêu phàm Libratus/Pluribus, CICERO Diplomacy AI và OpenAI o3 / o1 / mô 🍓 hình lý luận
tóm tắt: @OpenAI sẽ không triển khai đến NSA hoặc các cơ quan tình báo DoW khác trong thời gian này, để có thời gian giải quyết các lỗ hổng giám sát tiềm năng thông qua quy trình dân chủ.
Cuối tuần qua, rõ ràng rằng ngôn ngữ ban đầu trong thỏa thuận OpenAI / DoW đã để lại những câu hỏi hợp pháp chưa được trả lời, đặc biệt là xung quanh một số cách mới mà AI có thể cho phép giám sát hợp pháp. Ngôn ngữ hiện đã được cập nhật để giải quyết điều này, nhưng tôi cũng tin tưởng mạnh mẽ rằng thế giới không nên phải dựa vào sự tin tưởng vào các phòng thí nghiệm AI hoặc các cơ quan tình báo để đảm bảo an toàn và bảo mật. Việc triển khai đến NSA và tất cả các cơ quan tình báo DoW khác sẽ bị hoãn lại để có thời gian giải quyết những lỗ hổng này thông qua quy trình dân chủ trước khi triển khai.
Tôi biết rằng lập pháp đôi khi có thể chậm chạp, nhưng tôi lo ngại về một con dốc trơn trượt nơi chúng ta trở nên quen thuộc với việc vượt qua quy trình dân chủ cho các quyết định chính sách quan trọng. Khi có sự ủng hộ lưỡng đảng và sự khẩn cấp, tôi tin rằng chính phủ có thể hành động nhanh chóng. Và khi AI trở nên mạnh mẽ hơn, việc ủy quyền cuối cùng cho công chúng trở nên quan trọng hơn bao giờ hết.
Tôi cũng đang có kế hoạch tham gia nhiều hơn vào chính sách tại OpenAI. Tôi nghĩ rằng bây giờ hơn bao giờ hết, việc các nhà nghiên cứu tham gia vào quy trình là rất quan trọng để chính sách được thông báo về sự tiến bộ cực kỳ nhanh chóng mà chúng ta đang thấy.

Sam Altman09:15 3 thg 3
Đây là bài đăng lại từ một bài đăng nội bộ:
Chúng tôi đã làm việc với DoW để thực hiện một số bổ sung trong thỏa thuận của chúng tôi nhằm làm rõ các nguyên tắc của mình.
1. Chúng tôi sẽ sửa đổi thỏa thuận của mình để thêm ngôn ngữ này, bên cạnh mọi thứ khác:
"• Nhất quán với các luật hiện hành, bao gồm Tu chính án thứ tư của Hiến pháp Hoa Kỳ, Đạo luật An ninh Quốc gia năm 1947, Đạo luật FISA năm 1978, hệ thống AI sẽ không được sử dụng một cách cố ý cho việc giám sát trong nước đối với công dân và quốc gia Hoa Kỳ.
• Để tránh hiểu lầm, Bộ hiểu rằng giới hạn này cấm việc theo dõi, giám sát hoặc theo dõi cố ý đối với công dân hoặc quốc gia Hoa Kỳ, bao gồm cả việc thu thập hoặc sử dụng thông tin cá nhân hoặc có thể nhận diện được mua từ thương mại."
Việc bảo vệ quyền tự do dân sự của người Mỹ là rất quan trọng, và có rất nhiều sự chú ý vào điều này, vì vậy chúng tôi muốn làm rõ điểm này, đặc biệt là xung quanh thông tin được mua từ thương mại. Giống như mọi thứ chúng tôi làm với việc triển khai lặp đi lặp lại, chúng tôi sẽ tiếp tục học hỏi và hoàn thiện khi tiến về phía trước.
Tôi nghĩ đây là một thay đổi quan trọng; đội ngũ của chúng tôi và đội ngũ DoW đã làm rất tốt công việc này.
2. Bộ cũng khẳng định rằng dịch vụ của chúng tôi sẽ không được sử dụng bởi các cơ quan tình báo của Bộ Chiến tranh (ví dụ, NSA). Bất kỳ dịch vụ nào cho các cơ quan đó sẽ yêu cầu một sửa đổi tiếp theo đối với hợp đồng của chúng tôi.
3. Để làm rõ: chúng tôi muốn làm việc thông qua các quy trình dân chủ. Chính phủ nên là bên đưa ra các quyết định chính về xã hội. Chúng tôi muốn có tiếng nói và một chỗ ngồi tại bàn nơi chúng tôi có thể chia sẻ chuyên môn của mình, và đấu tranh cho các nguyên tắc tự do. Nhưng chúng tôi rõ ràng về cách hệ thống hoạt động (bởi vì nhiều người đã hỏi, nếu tôi nhận được điều mà tôi tin là một lệnh vi hiến, tất nhiên tôi thà đi tù còn hơn là tuân theo nó). Nhưng
4. Có nhiều điều mà công nghệ chưa sẵn sàng, và nhiều lĩnh vực mà chúng tôi vẫn chưa hiểu rõ về các sự đánh đổi cần thiết cho sự an toàn. Chúng tôi sẽ làm việc qua những điều này, từ từ, với DoW, với các biện pháp bảo vệ kỹ thuật và các phương pháp khác.
5. Một điều tôi nghĩ tôi đã làm sai: chúng tôi không nên vội vàng đưa điều này ra vào thứ Sáu. Các vấn đề rất phức tạp, và đòi hỏi sự giao tiếp rõ ràng. Chúng tôi thực sự đang cố gắng làm giảm căng thẳng và tránh một kết quả tồi tệ hơn, nhưng tôi nghĩ nó chỉ trông có vẻ cơ hội và cẩu thả. Đây là một bài học tốt cho tôi khi chúng tôi đối mặt với những quyết định có mức độ rủi ro cao hơn trong tương lai.
Trong các cuộc trò chuyện của tôi vào cuối tuần, tôi đã nhắc lại rằng Anthropic không nên được chỉ định là một SCR, và chúng tôi hy vọng DoW sẽ cung cấp cho họ các điều khoản giống như những gì chúng tôi đã đồng ý.
Chúng tôi sẽ tổ chức một cuộc họp All Hands vào sáng mai để trả lời thêm câu hỏi.
207
Sau kết quả IMO vào mùa hè năm ngoái, một số người đã coi đó là "toán học trung học." Chúng tôi nghĩ rằng các mô hình mới nhất của chúng tôi sẽ xóa bỏ mọi nghi ngờ rằng nghiên cứu STEM sắp thay đổi một cách cơ bản.
Các nhà toán học đã tạo ra một bộ 10 câu hỏi nghiên cứu phát sinh tự nhiên từ chính nghiên cứu của họ. Chỉ có họ mới biết câu trả lời, và họ đã cho thế giới một tuần để sử dụng LLMs để cố gắng giải quyết chúng. Chúng tôi nghĩ rằng các mô hình mới nhất của chúng tôi có thể giải quyết một số câu hỏi trong số đó.
Đây là một mô hình nội bộ cho đến nay, nhưng tôi lạc quan rằng chúng tôi sẽ có nó (hoặc một mô hình tốt hơn) sớm.


229
Tôi đánh giá cao sự trung thực của @Anthropic trong thẻ hệ thống mới nhất của họ, nhưng nội dung của nó không khiến tôi tự tin rằng công ty sẽ hành động có trách nhiệm trong việc triển khai các mô hình AI tiên tiến:
-Họ chủ yếu dựa vào một cuộc khảo sát nội bộ để xác định xem Opus 4.6 có vượt qua ngưỡng R&D-4 AI tự động của họ hay không (và do đó sẽ cần các biện pháp bảo vệ mạnh mẽ hơn để phát hành theo Chính sách Mở rộng Có trách nhiệm của họ). Đây thậm chí không phải là một cuộc khảo sát bên ngoài của một bên thứ ba trung lập, mà là một cuộc khảo sát của nhân viên Anthropic.
-Khi 5/16 người tham gia khảo sát nội bộ ban đầu đưa ra đánh giá cho thấy có thể cần các biện pháp bảo vệ mạnh mẽ hơn cho việc phát hành mô hình, Anthropic đã theo dõi với những nhân viên đó cụ thể và yêu cầu họ "làm rõ quan điểm của mình." Họ không đề cập đến bất kỳ sự theo dõi tương tự nào cho 11/16 người tham gia còn lại. Không có thảo luận nào trong thẻ hệ thống về cách điều này có thể tạo ra sự thiên lệch trong kết quả khảo sát.
-Lý do của họ khi dựa vào các cuộc khảo sát là các đánh giá R&D AI hiện tại của họ đã bão hòa. Một số người có thể lập luận rằng tiến bộ AI đã diễn ra quá nhanh đến mức có thể hiểu rằng họ không có các đánh giá định lượng tiên tiến hơn, nhưng chúng ta có thể và nên yêu cầu các phòng thí nghiệm AI đạt tiêu chuẩn cao. Ngoài ra, các phòng thí nghiệm khác có các đánh giá R&D AI tiên tiến mà không bị bão hòa. Ví dụ, OpenAI có tiêu chuẩn OPQA đo lường khả năng của các mô hình AI trong việc giải quyết các vấn đề nội bộ thực tế mà các nhóm nghiên cứu OpenAI gặp phải và mất hơn một ngày để giải quyết.
Tôi không nghĩ Opus 4.6 thực sự ở mức độ của một nhà nghiên cứu AI cấp độ đầu vào từ xa, và tôi không nghĩ rằng việc phát hành nó là nguy hiểm. Nhưng mục đích của Chính sách Mở rộng Có trách nhiệm là xây dựng cơ bắp thể chế và thói quen tốt trước khi mọi thứ trở nên nghiêm trọng. Các cuộc khảo sát nội bộ, đặc biệt là như Anthropic đã thực hiện, không phải là một sự thay thế có trách nhiệm cho các đánh giá định lượng.

492
Hàng đầu
Thứ hạng
Yêu thích
