Phát triển ChatGPT tốn kém ra sao?

Trước khi ChatGPT của OpenAI xuất hiện và làm khuynh đảo thế giới với khả năng đáp ứng nhiều yêu cầu khác nhau, startup nhỏ bé Latitude đã “gây sốt” với game AI Dungeon. AI Dungeon sử dụng AI tạo ra những câu chuyện thần tiên.

Dù vậy, khi phổ biến hơn, chi phí duy trì game nhập vai này tăng vọt. Người chơi càng nhiều, hóa đơn Lattitude phải trả cho OpenAI - công ty cung cấp công nghệ ngôn ngữ GPT đứng sau game – càng cao.

CEO Nick Walton còn phát hiện các nhà tiếp thị nội dung đã sử dụng AI Dungeon viết bài quảng bá, một tác dụng mà nhóm của ông chưa từng nghĩ đến.

Vào cao điểm năm 2021, Walton ước tính Latitude chi gần 200.000 USD/tháng cho phần mềm AI tạo sinh của OpenAI và Amazon Web Services (AWS) để theo kịp hàng triệu truy vấn từ người dùng mỗi ngày. Với một startup, vài trăm nghìn USD/tháng cho AI là con số khổng lồ.

Đến cuối năm 2021, Latitude chuyển sang dùng phần mềm của AI21 Labs, rẻ hơn GPT của OpenAI, kết hợp với tích hợp mô hình ngôn ngữ miễn phí, nguồn mở nhằm giảm thiểu chi phí. Hóa đơn AI tạo sinh của startup giảm xuống dưới 100.000 USD/tháng. Họ cũng thu phí người dùng để bù đắp.

Câu chuyện của Latitude hé lộ phần nào thực tế không mấy “màu hồng” phía sau sự bùng nổ của AI tạo sinh. Cái giá cho sự phát triển và duy trì phần mềm vô cùng lớn, cả cho doanh nghiệp phát triển công nghệ nền lẫn những ai dùng AI cho phần mềm của mình.

Chỉ có các tên tuổi lớn như Microsoft, Meta, Alphabet mới có nguồn vốn ngoại cỡ dẫn đầu cuộc chơi. Song việc biên lợi nhuận của các ứng dụng AI thấp hơn nhiều so với SaaS có thể ngăn cản đà bùng nổ hiện tại.

Chi phí đào tạo và “suy luận” các mô hình ngôn ngữ lớn khác biệt so với công nghệ điện toán trước đây. Ngay cả khi đã phát triển hay đào tạo phần mềm, vẫn cần lượng lớn năng lực điện toán để vận hành các mô hình ngôn ngữ lớn vì chúng thực hiện hàng tỷ tính toán mỗi lần trả lời một truy vấn. Trong khi đó, cung cấp ứng dụng hay trang web nhẹ nhàng hơn nhiều.

Các phép tính cũng cần phần cứng chuyên biệt. Dù chip máy tính truyền thống vẫn có thể chạy mô hình máy học, tốc độ lại rất chậm. Hầu hết việc đào tạo và can thiệp đều diễn ra trên GPU – vốn dành cho game 3D – nhưng nay đã thành tiêu chuẩn cho ứng dụng AI vì chúng có thể thực hiện nhiều phép tính đơn giản đồng thời.

Nvidia sản xuất hầu hết GPU cho ngành công nghiệp AI. Con chip data center của hãng lên tới 10.000 USD.

Các nhà phân tích và chuyên gia công nghệ ước tính quy trình đào tạo mô hình ngôn ngữ lớn như GPT-3 của OpenAI mất hơn 4 triệu USD. Các công cụ hiện đại hơn sẽ tốn kém hơn. Chẳng hạn, mô hình LlaMA của Meta công bố tháng trước sử dụng 2.048 GPU Nvidia A100 để đào tạo 1,4 nghìn tỷ token (750 từ tương đương 1.000 token) trong khoảng 21 ngày.

Clement Denlangue, CEO startup HuggingFace, cho biết quy trình đào tạo mô hình ngôn ngữ lớn Bloom của họ mất hơn 2,5 tháng, cần đến siêu máy tính tương đương 500 GPU. Những tổ chức phát triển mô hình ngôn ngữ lớn phải thận trọng khi đào tạo lại phần mềm vì rất đắt đỏ.

Ông chia sẻ, không phải lúc nào các mô hình này cũng được đào tạo. Chính vì vậy một số mô hình như ChatGPT lại không có kiến thức về các sự kiện gần đây, mà dừng lại ở năm 2021.

Nếu sử dụng mô hình máy học đã được đào tạo để dự đoán hay tạo văn bản, kỹ sư dùng đến mô hình “suy luận”, còn đắt hơn cả đào tạo. Với một sản phẩm phổ biến như ChatGPT (100 triệu người dùng vào tháng 1), ước tính OpenAI phải bỏ ra 40 triệu USD để xử lý hàng triệu truy vấn mà mọi người nạp vào trong tháng đó.

Chi phí sẽ đội lên nhiều lần khi các công cụ này được dùng hàng tỷ lần mỗi ngày. Theo các chuyên gia tài chính, chatbot Bing AI của Microsoft – sử dụng mô hình ChatGPT – cần ít nhất 4 tỷ USD hạ tầng để phản hồi người dùng.

Trong trường hợp của Latitude, dù không mất tiền đào tạo mô hình ngôn ngữ, chi phí suy luận vào khoảng nửa cent/lần cho hàng triệu yêu cầu mỗi ngày.

Để gieo mầm cho AI, các nhà đầu tư mạo hiểm và Big Tech đã đầu tư hàng tỷ USD vào các startup chuyên về AI tạo sinh. Microsoft rót khoảng 10 tỷ USD cho OpenAI. Salesforce Ventures gần đây ra mắt quỹ 250 triệu USD dành riêng cho các startup trong lĩnh vực này.

Không rõ phát triển AI có còn tốn kém không khi ngành công nghiệp tiến xa hơn. Các công ty làm mô hình ngôn ngữ, nhà sản xuất bán dẫn và startup đều nhìn thấy cơ hội khi chi phí vận hành phần mềm AI giảm.

Nvidia – hãng nắm 95% thị phần chip AI – tiếp tục phát triển những phiên bản mạnh mẽ hơn cho máy học. CEO Jensen Huang tin rằng trong 10 năm tới, AI sẽ hiệu quả hơn “một triệu lần” không chỉ nhờ vào cải tiến của chip, mà còn do phần mềm và linh kiện máy tính khác.

Một số startup tập trung giải quyết chi phí khi vận hành AI, chẳng hạn D-Matrix. Startup này xây dựng hệ thống nhằm tiết kiệm chi phí suy luận bằng cách xử lý nhiều hơn trong bộ nhớ máy tính thay vì chỉ trên GPU. Theo nhà sáng lập D-Matrix, vấn đề là mọi người sử dụng GPU để thực hiện gần như mọi suy luận và mua các hệ thống đắt tiền từ Nvidia. Tuy nhiên, khối lượng công việc tăng rất nhanh và không có cách nào mà GPU theo kịp được vì nó không được làm ra cho điều đó. Nó được làm ra để đào tạo, tăng tốc đồ họa.

Delangue, CEO HuggingFace, tin rằng nhiều công ty sẽ được phục vụ tốt hơn nếu tập trung vào mô hình nhỏ, riêng biệt có chi phí đào tạo và vận hành thấp hơn, thay vì dùng mô hình ngôn ngữ lớn. Trong khi đó, tháng trước, OpenAI thông báo sẽ giảm giá truy cập mô hình GPT cho các doanh nghiệp, chỉ còn 1/5 cent cho mỗi 750 từ. Thay đổi lớn này mang đến cơ hội cho những hãng như Latitude hướng tới phục vụ người dùng tốt nhất.