Khả năng văn bản dài trở thành "tiêu chuẩn" mới của mô hình lớn, 400.000 token có thể chỉ là khởi đầu

Mô hình lớn đang nâng cao khả năng xử lý văn bản dài với tốc độ đáng kinh ngạc, từ 4000 token đến 400.000 token, khả năng này dường như đã trở thành tiêu chuẩn mới để đánh giá sức mạnh công nghệ của các công ty mô hình lớn.

Trên thế giới, OpenAI đã nâng cấp nhiều lần để tăng độ dài đầu vào ngữ cảnh của GPT-3.5 từ 4.000 lên 16.000 token, trong khi GPT-4 được tăng từ 8.000 lên 32.000 token. Anthropic thậm chí đã mở rộng độ dài ngữ cảnh lên 100.000 token. LongLLaMA còn đẩy con số này lên hơn 256.000 token.

Trong nước, Kimi Chat do công ty khởi nghiệp 月之暗面 phát triển hỗ trợ nhập 200.000 ký tự Hán, tương đương khoảng 400.000 token. Công nghệ LongLoRA được phát triển hợp tác giữa Đại học Hồng Kông và MIT có thể mở rộng độ dài văn bản của mô hình 7B lên 100.000 token, trong khi mô hình 70B đạt 32.000 token.

Hiện tại, nhiều công ty và tổ chức nghiên cứu hàng đầu về mô hình lớn, bao gồm OpenAI, Anthropic, Meta và Mặt trăng tối, đang coi việc mở rộng độ dài ngữ cảnh là một hướng đi chính trong việc nâng cấp công nghệ.

Những công ty này đều là những đứa con cưng của thị trường vốn. OpenAI đã nhận gần 12 tỷ đô la đầu tư, giá trị của Anthropic dự kiến sẽ đạt 30 tỷ đô la, trong khi Moonlight Dark Side, chỉ mới thành lập được nửa năm, đã hoàn thành hai vòng huy động vốn tổng cộng gần 2 tỷ nhân dân tệ.

Sự đột phá trong công nghệ văn bản dài có nghĩa là khả năng hiểu đọc của mô hình đã được nâng cao đáng kể. Từ việc ban đầu khó có thể đọc hết một bài viết trên WeChat, đến nay có thể dễ dàng đọc một cuốn tiểu thuyết dài, thậm chí xử lý các tài liệu chuyên môn phức tạp. Công nghệ này cũng đang thúc đẩy việc ứng dụng các mô hình lớn trong các lĩnh vực tài chính, tư pháp, nghiên cứu khoa học.

Tuy nhiên, độ dài văn bản không phải lúc nào cũng tốt hơn. Nghiên cứu cho thấy, việc mô hình sử dụng hiệu quả nội dung ngữ cảnh quan trọng hơn nhiều so với việc đơn thuần tăng độ dài. Dù vậy, những khám phá hiện tại dường như vẫn còn xa "điểm tới hạn", 400.000 token có thể chỉ là sự khởi đầu.

Công nghệ văn bản dài không chỉ giải quyết một số vấn đề mà các mô hình lớn phải đối mặt ở giai đoạn đầu, mà còn tăng cường khả năng của chúng, trở thành một trong những công nghệ then chốt thúc đẩy ứng dụng trong ngành. Điều này đánh dấu sự chuyển mình của mô hình lớn từ LLM sang Long LLM.

Ứng dụng của công nghệ văn bản dài đã thể hiện ở nhiều khía cạnh: phân tích nhanh các bài viết dài, trích xuất thông tin quan trọng từ báo cáo tài chính, thực hiện chuyển đổi trực tiếp từ văn bản sang mã, đối thoại vai trò phức tạp, v.v. Những chức năng này cho thấy các mô hình lớn đang phát triển theo hướng chuyên môn hóa, cá nhân hóa và sâu sắc hơn.

Tuy nhiên, công nghệ văn bản dài cũng đối mặt với "tam giác không thể": sự cân bằng giữa độ dài văn bản, sự chú ý và tính toán. Văn bản càng dài, càng khó tập trung vào thông tin chính; khi sự chú ý có hạn, văn bản ngắn lại khó truyền đạt thông tin phức tạp một cách đầy đủ; xử lý văn bản dài cũng cần một lượng lớn tính toán, làm tăng chi phí.

Hiện tại có ba giải pháp chính: sử dụng công cụ bên ngoài để hỗ trợ xử lý, tối ưu hóa tính toán cơ chế tự chú ý, và sử dụng các phương pháp tối ưu hóa mô hình. Những phương pháp này đều có ưu và nhược điểm riêng, nhằm tìm ra điểm cân bằng tốt nhất giữa độ dài văn bản, sự chú ý và sức mạnh tính toán.

Mặc dù công nghệ văn bản dài vẫn đối mặt với nhiều thách thức, nhưng nó chắc chắn là một trong những hướng phát triển quan trọng của mô hình lớn. Với sự tiến bộ không ngừng của công nghệ, chúng ta có lý do để kỳ vọng vào sự xuất hiện của khả năng xử lý văn bản dài mạnh mẽ và thông minh hơn.