Strata cho phép chạy mô hình LLM 125 tỷ tham số trên PC gaming

Dự án Strata khai thác GPU gaming để chạy mô hình LLM 125 tỷ tham số, dùng VRAM làm cache và SSD cho bảng tra cứu, đạt 50‑90 token/giây trên RTX 5070 12 GB.

05/10/2026

Mô hình Strata chạy trên PC gaming
Kiến trúc Strata sử dụng VRAM làm cache cho mô hình LLM 125 tỷ tham số

Strata, dự án của Niko1221, đã chứng minh khả năng chạy mô hình ngôn ngữ lớn (LLM) 125 tỷ tham số trên phần cứng gaming thông thường, mở ra cơ hội thử nghiệm LLM mà không cần siêu máy tính.

Điểm chính

Strata hỗ trợ các biến thể của mô hình Qwen3.8, bao gồm các phiên bản lượng tử hoá và các mô hình chuyên dụng cho lập trình. Phiên bản Qwen3.8‑Flash‑Next là mô hình mixture‑of‑experts với 24 576 chuyên gia nhỏ, trong đó chỉ 10 chuyên gia được kích hoạt cho mỗi token.

Kiến trúc phần mềm xử lý VRAM như một bộ nhớ đệm: các chuyên gia thường dùng được giữ trên GPU, còn toàn bộ tập hợp chuyên gia nằm trong RAM hệ thống. Một bảng tra cứu khoảng 29 GB được lưu trên SSD và được truy cập khi cần.

Theo dự án, một card RTX 5070 với 12 GB VRAM có thể tạo ra khoảng 50‑90 token mỗi giây, tùy vào mức lượng tử hoá. Để chạy Strata, cần ít nhất 32 GB RAM hệ thống, 12 GB VRAM và khoảng 80 GB dung lượng lưu trữ.

Phần mềm cung cấp giao diện web và các API tương thích OpenAI/Anthropic trên localhost, cho phép các công cụ chat, trợ lý lập trình và các ứng dụng khác sử dụng mô hình nội bộ mà không cần thay đổi lớn.

💡 Góc nhìn kỹ thuật Hagapa

Các nhà phát triển hệ thống nhúng và giải pháp IoT tại Việt Nam, đặc biệt những công ty đang xây dựng nền tảng AI cục bộ cho thiết bị cảm biến thông minh hoặc tự động hoá quy trình, có thể quan tâm tới khả năng chạy mô hình LLM 125 tỷ tham số trên máy gaming thông thường. Trước khi triển khai thực tế, cần kiểm tra tính ổn định của việc chuyển dữ liệu chuyên gia từ RAM sang GPU, đánh giá độ trễ khi truy cập bảng tra cứu trên SSD, và xác nhận yêu cầu tối thiểu về RAM, VRAM và dung lượng lưu trữ để tránh ảnh hưởng tới các tác vụ thời gian thực của hệ thống nhúng.

Nguồn tham khảo: Hackaday

Tin liên quan