Theo đó, gã khổng lồ tìm kiếm đã tự thiết kế chip tuỳ chỉnh của riêng mình có tên Tensor Processing Unit (TPU) và sử dụng loại chip này cho hơn 90% khối lượng công việc huấn luyện AI, quá trình cung cấp dữ liệu thông qua thuật toán để các mô hình có thể trả lời hiệu quả những truy vấn của người dùng bằng văn bản hoặc hình ảnh.
Dựa trên báo cáo khoa học của Google xuất bản, siêu máy tính của công ty này được kết nối từ hơn 4.000 con chip lại với nhau bằng các công tắc quang học do chính hãng phát triển.
Các mô hình ngôn ngữ lớn hỗ trợ công nghệ trên Bard (Google) hay ChatGPT (OpenAI) đòi hỏi sức mạnh điện toán khổng lồ không thể lưu trữ trên 1 con chip đơn lẻ. Do đó, các công ty chế tạo siêu máy tính tìm cách chia mô hình thành hàng nghìn con chip, kết nối chúng lại để chạy trong nhiều tuần hoặc hơn cho quá trình huấn luyện.
PaLM, mô hình ngôn ngữ công khai lớn nhất đến nay của Google, được đào tạo bằng cách chia thành 2 phần chạy trên siêu máy tính 4.000 chip trong vòng 50 ngày liên tục.
Google cho biết siêu máy tính của hãng khiến việc cấu hình lại kết nối giữa các chip trở nên dễ dàng, nhanh chóng hơn, từ đó tránh được các sự cố và tăng được hiệu suất chung.
“Công tắc chuyển mạch giúp dễ dàng định tuyến xung quanh các thành phần bị lỗi”, Norm Jouppi và David Patterson, 2 chuyên gia của công ty viết trong bài đăng trên blog. “Tính linh hoạt thậm chí cho phép chúng tôi thay đổi cấu trúc liên kết của các siêu máy tính nhằm tăng tốc hiệu suất mô hình máy học”.
Mặc dù đến bây giờ Google mới công khai cấu hình chi tiết siêu máy tính, nhưng cỗ máy này đã được sử dụng trong công ty từ năm 2020 tại một trung tâm dữ liệu ở hạt Mayes, Oklahoma. Hãng cũng chia sẻ, startup Midjourney đã sử dụng hệ thống này để đào tạo mô hình của mình.
Theo báo cáo, hệ thống chip của Google khi so sánh với những thiết bị có kích thước tương đương, nhanh hơn hơn 1,7 lần và tiết kiệm năng lượng hơn 1,9 lần so với chip A100 của Nvidia.
Tuy nhiên, Google từ chối so sánh hiệu năng với con chip H100 hàng đầu của Nvidia với lý do H100 ra mắt sau và được sản xuất bằng công nghệ mới hơn.
Theo Reuters
.svg){kind=icon}
