Bình luận bên dưới một bài đăng trên mạng xã hội X hôm 1/7, Elon Musk cho biết phiên bản chatbot mới nhất - Grok 3 - của startup xAI nên là "thứ gì đó đặc biệt" sau khi được đào tạo bằng 100.000 GPU H100.
Musk đang đề cập đến bộ xử lý đồ họa (GPU) H100 của Nvidia, hay còn được gọi là Hopper, thứ đảm nhận xử lý dữ liệu cho các mô hình ngôn ngữ lớn (LLM). Chúng là thành phần quan trọng khi phát triển AI và được xem là “hàng nóng” ở Thung lũng Silicon khi các hãng công nghệ đang chạy đua làm ra các sản phẩm AI thông minh hơn bao giờ hết.
Ước tính, mỗi chip Nvidia H100 có giá 30.000 USD, thậm chí lên tới 40.000 USD. Như vậy, Grok 3 có thể đang được đào tạo bằng “núi tiền” từ 3 đến 4 tỷ USD. Tuy nhiên, theo Insider, không rõ startup của Musk có mua đứt số chip này không. Họ có thể thuê sức mạnh tính toán từ các nhà cung cấp dịch vụ đám mây. Hồi tháng 5, tờ The Information đưa tin xAI đang đàm phán với Oracle để thuê máy chủ đám mây với giá 10 tỷ USD trong nhiều năm.
Dù vậy, các công ty của tỷ phú “lắm tài nhiều tật” cũng đã mua một lượng lớn chip Nvidia H100 trong những năm gần đây. Chẳng hạn, Musk được cho là chuyển đơn hàng Nvidia H100 trị giá nửa tỷ USD từ Tesla sang cho X.
Nếu được đào tạo dựa trên 100.000 GPU, chatbot Grok 3 sẽ là bước tiến lớn so với Grok 2. Trong cuộc phỏng vấn hồi tháng 4, ông chủ Tesla tiết lộ Grok 2 cần khoảng 20.000 chip H100. Cho đến nay, xAI đã phát hành Grok-1 và Grok 1.5. Phiên bản mới nhất chỉ dành cho các tester và người dùng trên X. CEO X mong muốn ra mắt Grok 2 vào tháng 8/2024 và cũng ám chỉ Grok 3 sẽ xuất hiện vào cuối năm nay.
100.000 GPU là con số tương đối lớn. Các “gã khổng lồ” khác như Meta đang dự trữ còn nhiều GPU hơn. Đầu năm nay, CEO Meta chia sẻ sẽ mua khoảng 350.000 GPU Nvidia H100 vào cuối năm. Ngoài ra, công ty mẹ Facebook sẽ sở hữu khoảng 600.000 chip, bao gồm các GPU khác. Nó đồng nghĩa Meta bỏ ra khoảng 18 tỷ USD để xây dựng năng lực AI cho mình.
Việc dự trữ chip H100 cũng góp phần khiến cuộc tuyển dụng nhân tài AI trở nên khốc liệt hơn. Aravind Srinivas, người sáng lập kiêm CEO startup AI Perplexity, chia sẻ thất bại khi muốn chiêu mộ một chuyên gia AI của Meta, một phần vì “bộ sưu tập” chip AI đồ sộ của Zuckerberg.
“Bạn biết họ nói gì không? 'Hãy quay lại khi đã có 10.000 GPU H100”, Srinivas hồi tưởng.
(Theo Insider)
.svg){kind=icon}
