Tôi đã có cùng một suy nghĩ nên tôi đã chơi với nó trong nanochat. Ví dụ, đây là 8 tác nhân (4 claude, 4 codex), mỗi cái có 1 GPU chạy các thí nghiệm nanochat (cố gắng xóa logit softcap mà không bị hồi quy). Tóm lại là nó không hoạt động và thật lộn xộn... nhưng vẫn rất đẹp để nhìn :) Tôi đã thử một vài thiết lập: 8 nhà nghiên cứu độc lập, 1 nhà khoa học trưởng giao việc cho 8 nhà nghiên cứu trẻ, v.v. Mỗi chương trình nghiên cứu là một nhánh git, mỗi nhà khoa học phân nhánh nó thành một nhánh tính năng, git worktrees để cách ly, các tệp đơn giản cho giao tiếp, bỏ qua Docker/VMs để đơn giản hóa tạm thời (tôi thấy rằng hướng dẫn là đủ để ngăn chặn sự can thiệp). Tổ chức nghiên cứu chạy trong các cửa sổ tmux của các phiên tương tác (như Teams) để nó đẹp mắt, thấy được công việc cá nhân của họ, và "tiếp quản" nếu cần, tức là không có -p. Nhưng lý do mà nó không hoạt động cho đến nay là ý tưởng của các tác nhân thực sự rất tệ ngay từ đầu, ngay cả khi có trí tuệ cao nhất. Họ không suy nghĩ cẩn thận về thiết kế thí nghiệm, họ chạy một số biến thể không hợp lý, họ không tạo ra các cơ sở mạnh mẽ và không loại bỏ các yếu tố một cách hợp lý, họ không kiểm soát cẩn thận thời gian chạy hoặc flops. (chỉ là một ví dụ, một tác nhân hôm qua "khám phá" rằng việc tăng kích thước ẩn của mạng cải thiện tổn thất xác thực, điều này là một kết quả hoàn toàn giả tạo vì một mạng lớn hơn sẽ có tổn thất xác thực thấp hơn trong chế độ dữ liệu vô hạn, nhưng sau đó nó cũng đào tạo lâu hơn, không rõ tại sao tôi phải vào để chỉ ra điều đó). Họ rất giỏi trong việc thực hiện bất kỳ ý tưởng nào được xác định rõ ràng và mô tả nhưng họ không sáng tạo để tạo ra chúng. Nhưng mục tiêu là bạn đang lập trình một tổ chức (ví dụ, một "tổ chức nghiên cứu") và các tác nhân cá nhân của nó, vì vậy "mã nguồn" là tập hợp các lời nhắc, kỹ năng, công cụ, v.v. và các quy trình tạo nên nó. Ví dụ, một cuộc họp hàng ngày vào buổi sáng giờ đây là một phần của "mã tổ chức". Và tối ưu hóa việc tiền huấn luyện nanochat chỉ là một trong nhiều nhiệm vụ (gần như như một đánh giá). Sau đó - với một nhiệm vụ tùy ý, tổ chức nghiên cứu của bạn tạo ra tiến bộ trên đó nhanh như thế nào?

Với cơn sóng nhu cầu về token sắp tới, có những cơ hội đáng kể để tổ chức bộ nhớ + tính toán cơ bản *đúng cách* cho LLMs. Ràng buộc cơ bản và không rõ ràng là do quy trình chế tạo chip, bạn có hai nhóm bộ nhớ hoàn toàn khác nhau (cũng có các triển khai vật lý khác nhau): 1) SRAM trên chip ngay bên cạnh các đơn vị tính toán, cực kỳ nhanh nhưng có dung lượng rất thấp, và 2) DRAM ngoài chip có dung lượng cực kỳ cao, nhưng nội dung của nó chỉ có thể được hút qua một ống dài. Ngoài ra, còn có nhiều chi tiết của kiến trúc (ví dụ: mảng systolic), số học, v.v. Thiết kế nền tảng vật lý tối ưu và sau đó là tổ chức bộ nhớ + tính toán trên các quy trình làm việc khối lượng lớn của LLMs (giải mã trước khi suy diễn, đào tạo / tinh chỉnh, v.v.) với thông lượng / độ trễ / $ tốt nhất có lẽ là câu đố trí tuệ thú vị nhất ngày nay với phần thưởng cao nhất (\cite 4.6T của NVDA). Tất cả đều nhằm có được nhiều token, nhanh và rẻ. Có thể nói, quy trình làm việc có thể quan trọng nhất (giải mã suy diễn *và* trong các ngữ cảnh token dài trong các vòng lặp tác động chặt chẽ) là quy trình khó đạt được đồng thời nhất bởi ~cả hai bên của những gì tồn tại ngày nay (NVIDIA bên HBM trước và Cerebras bên SRAM trước). Dù sao thì đội ngũ MatX là A++ nên tôi rất vui khi có một sự tham gia nhỏ và chúc mừng về việc huy động vốn!