Khó nói nó sẽ ảnh hưởng đến lợi nhuận của họ như thế nào, nhưng bộ vi xử lý mới "Halo Strix" của AMD hiện là hệ thống tốt nhất cho bất kỳ ai muốn chạy một LLM cục bộ.
Có thể mua một trong những cái này với 128GB RAM chỉ khoảng $1.5k tổng cộng và nó sẽ chạy các mô hình vừa/lớn như gpt-oss 120B một cách hoàn hảo.
Để tham khảo, một chiếc Nvidia 5090 ( mà không có phần còn lại của PC) có giá từ $2-3k và không thể chạy được toàn bộ mô hình đó.
Một chiếc mac mini với 64GB RAM có giá 2k và cũng không thể chạy được mô hình đầy đủ đó.
Một mac studio với 128GB RAM có thể chạy nó nhưng có giá 3,7k đô la
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Khó nói nó sẽ ảnh hưởng đến lợi nhuận của họ như thế nào, nhưng bộ vi xử lý mới "Halo Strix" của AMD hiện là hệ thống tốt nhất cho bất kỳ ai muốn chạy một LLM cục bộ.
Có thể mua một trong những cái này với 128GB RAM chỉ khoảng $1.5k tổng cộng và nó sẽ chạy các mô hình vừa/lớn như gpt-oss 120B một cách hoàn hảo.
Để tham khảo, một chiếc Nvidia 5090 ( mà không có phần còn lại của PC) có giá từ $2-3k và không thể chạy được toàn bộ mô hình đó.
Một chiếc mac mini với 64GB RAM có giá 2k và cũng không thể chạy được mô hình đầy đủ đó.
Một mac studio với 128GB RAM có thể chạy nó nhưng có giá 3,7k đô la