Theo nguồn tin từ The Information, OpenAI có thể đang gặp phải giới hạn về hiệu suất khi phát triển mô hình AI mới nhất mang tên “Orion” (tên mã của dự án ChaGPT 5). Dù được kỳ vọng vượt trội hơn GPT-4, Orion chỉ đạt được những cải tiến khiêm tốn so với các phiên bản trước, đặc biệt trong các nhiệm vụ mã hóa. Một số nhân viên thử nghiệm Orion cho rằng bước tiến từ GPT-4 lên Orion không rõ rệt như từ GPT-3 lên GPT-4, làm dấy lên cuộc tranh luận trong giới công nghệ về khả năng AI đang tiệm cận đỉnh hiệu suất.
Sự chậm lại trong tốc độ cải tiến khiến nhiều chuyên gia AI đặt câu hỏi về “quy luật mở rộng” – lý thuyết rằng các mô hình AI sẽ tiếp tục trở nên thông minh hơn khi được mở rộng quy mô và dữ liệu. Sam Altman, CEO OpenAI, từng ám chỉ rằng quy luật này đóng vai trò cốt lõi trong việc xác định mức độ phát triển trí thông minh của AI. Tuy nhiên, báo cáo từ The Information cho thấy ngay cả các kỹ sư của OpenAI cũng bắt đầu nghi ngờ tính khả thi của quy luật này, khi đối diện với một “bức tường hiệu suất” có thể không dễ vượt qua.
Quy luật mở rộng có đạt ngưỡng?
Nguồn dữ liệu chất lượng cao và sức mạnh tính toán là hai yếu tố then chốt giúp tăng cường hiệu suất của các mô hình AI. Tuy nhiên, cả hai yếu tố này đang dần đạt giới hạn vật lý và thực tế. Nguồn dữ liệu chất lượng từ văn bản, video, và nghiên cứu hiện có dần cạn kiệt, trong khi dữ liệu tổng hợp do AI tạo ra lại chưa phải là giải pháp bền vững. Epoch AI, một công ty nghiên cứu, dự báo rằng lượng dữ liệu văn bản có thể khai thác sẽ cạn kiệt vào năm 2028, đặt ngành AI trước thách thức lớn.
Giáo sư Ion Stoica từ Databricks nhận định rằng AI có thể đã đạt “đỉnh hiệu suất” trong việc trả lời các câu hỏi kiến thức chung và cảnh báo rằng dữ liệu thực tế có giá trị cao hơn dữ liệu tổng hợp từ AI. Gần đây, Sam Altman cũng thừa nhận OpenAI đang gặp khó khăn về tài nguyên tính toán, buộc họ phải đưa ra các quyết định phân bổ tài nguyên một cách cẩn trọng.
Hiệu suất giảm dần – Lợi nhuận giảm đi
Gary Marcus, giáo sư danh dự tại Đại học New York, cho rằng ngành AI đang bước vào giai đoạn “lợi nhuận giảm dần.” Marcus lập luận rằng, sau nhiều năm tăng trưởng vượt bậc, các mô hình mới chỉ đạt những cải thiện nhỏ về hiệu suất thay vì những bước tiến lớn như trước. Ông ví sự phát triển này giống như sự hội tụ về hiệu suất giữa các mô hình AI, thay vì tiếp tục tăng trưởng theo cấp số nhân.
Ilya Sutskever, đồng sáng lập OpenAI, cũng thừa nhận hiệu quả của việc mở rộng quy mô đang giảm. Ông nhấn mạnh rằng hiện nay, tìm ra cách “mở rộng quy mô hợp lý” là điều quan trọng để tránh đối mặt với các giới hạn tiềm tàng.
Orion vẫn có triển vọng đột phá?
Dù đối mặt với các giới hạn hiện tại, Orion vẫn chưa hoàn tất quá trình đào tạo, và OpenAI có thể cải thiện hiệu suất của mô hình bằng cách áp dụng các phương pháp tối ưu hóa hậu đào tạo. Tuy nhiên, tốc độ cải tiến chậm lại của Orion có thể là dấu hiệu rằng các mô hình AI trong tương lai sẽ không còn mang lại các đột phá lớn như những kỳ vọng ban đầu.
