Khi nói đến trí tuệ nhân tạo (AI), các đổi mới về thuật toán cơ bản quan trọng hơn phần cứng, ít nhất là đối với các vấn đề liên quan đến hàng tỷ đến hàng nghìn tỷ điểm dữ liệu. Đó là kết luận của một nhóm các nhà khoa học tại Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo (Computer Science and Artificial Intelligence Laboratory – CSAIL) của MIT, những người đã tiến hành nghiên cứu về tốc độ cải thiện của các thuật toán trên một loạt các ví dụ.
Các thuật toán cho phần mềm biết cách hiểu dữ liệu văn bản, hình ảnh và âm thanh để chúng có thể rút ra suy luận từ đó. Ví dụ: OpenAI’s GPT-3 đã được đào tạo về các trang web, sách điện tử và các tài liệu khác để học cách viết bài theo cách giống con người. Thuật toán càng hiệu quả thì phần mềm càng phải làm ít công việc hơn. Và khi các thuật toán được nâng cao, cần ít sức mạnh tính toán hơn, ít nhất là về lý thuyết. Nhưng đây không phải là khoa học ổn định. Các công ty khởi nghiệp về nghiên cứu AI và cơ sở hạ tầng như OpenAI và Cerberus đang đặt cược rằng các thuật toán sẽ phải tăng kích thước đáng kể để đạt được mức độ tinh vi cao hơn.
Nhóm CSAIL, dẫn đầu bởi nhà khoa học nghiên cứu MIT Neil Thompson, người trước đây là đồng tác giả trong một bài báo cho thấy rằng các thuật toán đang tiến gần đến giới hạn của phần cứng máy tính hiện đại, đã phân tích dữ liệu từ 57 sách giáo khoa khoa học máy tính và hơn 1.110 bài báo nghiên cứu để theo dõi lịch sử nơi các thuật toán được cải thiện . Tổng cộng, họ đã xem xét 113 “họ thuật toán” (algorithm families) hoặc tập hợp các thuật toán giải quyết cùng một vấn đề, đã được sách giáo khoa đánh dấu là quan trọng nhất.
Nhóm đã xây dựng lại lịch sử của 113 họ thuật toán này, theo dõi mỗi khi một thuật toán mới được đề xuất cho một vấn đề và ghi chú đặc biệt về những thuật toán hiệu quả hơn. Bắt đầu từ những năm 1940 đến nay, nhóm nghiên cứu đã tìm thấy trung bình 8 thuật toán cho mỗi họ, trong đó một số đã cải thiện hiệu quả.
Đối với các vấn đề máy tính lớn, 43% họ thuật toán có những cải tiến hàng năm bằng hoặc lớn hơn lợi ích từ định luật Moore, nguyên tắc mà tốc độ của máy tính tăng gần gấp đôi sau mỗi hai năm. Trong 14% số vấn đề, những cải tiến về hiệu suất vượt trội hơn rất nhiều so với những cải tiến đến từ phần cứng được cải tiến, với lợi ích từ các thuật toán tốt hơn đặc biệt có ý nghĩa đối với các vấn đề về dữ liệu lớn.
Ngày càng có nhiều bằng chứng
Nghiên cứu mới của MIT bổ sung vào các bằng chứng cho thấy kích thước (size) của các thuật toán quan trọng hơn độ phức tạp về kiến trúc của chúng. Ví dụ, vào đầu tháng này, một nhóm các nhà nghiên cứu của Google đã công bố một nghiên cứu cho thấy rằng một mô hình nhỏ hơn nhiều so với GPT-3 – mạng ngôn ngữ tinh chỉnh (fine-tuned language net – FLAN) – đánh bại GPT-3 với một biên độ lớn trên một số tiêu chí thách thức(challenging benchmarks). Và trong một cuộc khảo sát năm 2020, OpenAI đã phát hiện ra rằng kể từ năm 2012, số lượng máy tính cần thiết để đào tạo mô hình AI đạt cùng hiệu suất khi phân loại hình ảnh trong một tiêu chí phổ biến (popular benchmark), ImageNet, đã giảm đi hai lần sau mỗi 16 tháng.
Có những phát hiện ngược lại. Vào năm 2018, các nhà nghiên cứu của OpenAI đã phát hành một phân tích riêng cho thấy từ năm 2012 đến năm 2018, lượng máy tính được sử dụng trong các đợt đào tạo AI lớn nhất đã tăng hơn 300.000 lần với thời gian gấp đôi 3,5 tháng, vượt quá tốc độ của định luật Moore. Nhưng giả sử các cải tiến thuật toán trí tuệ nhân tạo nhận được sự quan tâm nhiều hơn trong những năm tới, chúng có thể giải quyết một số vấn đề khác liên quan đến các mô hình ngôn ngữ lớn, như tác động môi trường và chi phí.
Vào tháng 6 năm 2020, các nhà nghiên cứu tại Đại học Massachusetts tại Amherst đã công bố một báo cáo ước tính rằng lượng điện năng cần thiết để đào tạo và tìm kiếm một mô hình nhất định liên quan đến việc phát thải khoảng 626.000 pound carbon dioxide, tương đương gần 5 lần lượng khí thải suốt đời của xe trung bình của Mỹ. Chỉ riêng GPT-3 đã sử dụng 1,287 megawatt trong quá trình đào tạo và tạo ra 552 tấn khí thải carbon dioxide, một nghiên cứu của Google cho thấy – lượng phát thải tương đương với mức sử dụng điện trung bình của 100 ngôi nhà trong một năm.
Về mặt chi phí, một báo cáo của Synced ước tính rằng mô hình phát hiện tin tức giả mạo của Đại học Washington’s Grover tốn 25.000 đô la để đào tạo; OpenAI được cho rằng đã chi thêm lên 12 triệu đô la cho việc đào tạo GPT-3; và Google đã chi khoảng $ 6,912 để đào tạo BERT. Trong khi chi phí đào tạo AI đã giảm 100 lần từ năm 2017 đến năm 2019, theo một nguồn tin, số tiền này vẫn vượt xa ngân sách cho điện toán của hầu hết các công ty khởi nghiệp và tổ chức – chưa nói đến các nhà nghiên cứu độc lập.
Thompson cho biết trong một thông cáo báo chí: “Thông qua phân tích của chúng tôi, chúng tôi có thể nói rằng có thể thực hiện thêm bao nhiêu tác vụ nữa bằng cách sử dụng cùng một lượng sức mạnh tính toán sau khi một thuật toán được cải thiện. Trong thời đại mà môi trường của điện toán ngày càng phức tạp , đây là một cách để cải thiện các doanh nghiệp và các tổ chức khác mà không gặp phải những mặt trái.”
Theo https://venturebeat.com/2021/09/20/improved-algorithms-may-be-more-important-for-ai-performance-than-faster-hardware
