Trong kỷ nguyên số, các dịch vụ đám mây cung cấp khả năng truy cập vào những mô hình ngôn ngữ lớn (LLM) mạnh mẽ. Tuy nhiên, đi kèm với tiện ích đó là hai vấn đề lớn: thu thập dữ liệu và khả năng truy cập ổn định. Đối với cộng đồng đam mê công nghệ tại Việt Nam, đặc biệt là những người yêu thích sự kiểm soát và quyền riêng tư, việc tự host LLM cục bộ (local LLM) luôn là một lựa chọn hấp dẫn. Kể từ khi những mô hình AI mạnh mẽ, hoàn toàn miễn phí có thể chạy được trên card đồ họa phổ thông, công nghệ này đã có những bước tiến vượt bậc. Mặc dù khả năng thực tế phụ thuộc nhiều vào cấu hình phần cứng, nhưng thị trường hiện tại có rất nhiều lựa chọn đáng kinh ngạc.
Là một biên tập viên chuyên trách tại caphecongnghe.com, tôi đã dành nhiều thời gian để thử nghiệm và tối ưu các mô hình LLM tự host. Hiện tại, tôi đang vận hành thành công Gemma 27B IT QAT và Qwen 2.5 Coder 32B trên chiếc AMD Radeon RX 7900 XTX của mình, đồng thời sử dụng các mô hình nhỏ hơn như Deepseek R1 0528 Qwen 3 8B cho mục đích thử nghiệm cục bộ. Trong suốt quá trình tìm hiểu và triển khai, tôi đã đúc rút được nhiều bài học quý giá mà nếu biết sớm hơn, chắc chắn sẽ tiết kiệm được rất nhiều thời gian hoặc giúp tôi nâng cấp hệ thống nhanh chóng hơn. Dưới đây là 7 bài học quan trọng nhất mà tôi đã nghiệm ra, trong đó có những mẹo dành cho người mới bắt đầu, nhưng cũng có những kiến thức mà ngay cả những chuyên gia tự host lâu năm có thể chưa biết.
1. Kích thước mô hình và VRAM không phải là tất cả: Băng thông bộ nhớ mới là yếu tố then chốt
Băng thông bộ nhớ đóng vai trò quan trọng
Bài học đầu tiên mà tôi ước mình biết sớm hơn là kích thước mô hình không chỉ đơn thuần quyết định mức độ “thông minh” của một mô hình, mặc dù số lượng tham số của mô hình có liên quan trực tiếp đến khả năng của nó. Tuy nhiên, còn một khía cạnh khác cần xem xét, đó là số lượng token được tạo ra mỗi giây. Băng thông bộ nhớ đóng một vai trò lớn ở đây, và đó là lý do tại sao RTX 3090 vẫn là một trong những GPU tiêu dùng tốt nhất cho suy luận cục bộ, bất chấp sự ra đời của 4090 và 5090. Điều này nhờ vào băng thông bộ nhớ cao và chi phí thấp hơn so với các card RTX xx90 mới hơn. Mặc dù các card mới hơn có hiệu suất vượt trội hơn RTX 3090 ở nhiều mặt, nhưng đối với suy luận mô hình ngôn ngữ lớn, sự nâng cấp từ 3090 lên 4090 chỉ là nhỏ. 5090 có thể tăng hiệu suất từ hai đến ba lần so với 3090 (mặc dù nó cũng có 32GB VRAM), nhưng mức độ cải thiện không tuyến tính với chi phí.
Một yếu tố khác cần xem xét trong phương trình này là cửa sổ ngữ cảnh (context window). Các mô hình ngôn ngữ tính toán “vị trí” của chúng bằng cách sử dụng RoPE (Rotary Positional Embeddings) được mã hóa trong các transformer, hoạt động như một thước đo toán học đặt trên chuỗi. Việc tăng độ dài của thước đo này (cửa sổ ngữ cảnh) đồng nghĩa với nhiều phép nhân hơn trong mỗi lần truyền tiến và một bộ đệm key-value lớn hơn. Ví dụ, nhân đôi độ dài ngữ cảnh (từ 8K token lên 16K) có thể làm giảm hiệu suất một nửa. Có những phương pháp mở rộng RoPE để tăng cường điều này (như NTK hoặc yaRN), nhưng việc mở rộng đó có thể làm mờ các chi tiết, dẫn đến suy giảm chất lượng phản hồi khi cuộc trò chuyện kéo dài.
Có những cách tốt hơn để cung cấp thêm thông tin mà không cần sử dụng hết cửa sổ ngữ cảnh, nhưng dù việc tăng độ dài ngữ cảnh để mô hình LLM có khả năng “ghi nhớ siêu phàm” là rất hấp dẫn, nó luôn đi kèm với một cái giá. Hiệu suất sẽ nhanh chóng suy giảm theo thời gian, và nếu VRAM bị tràn, khiến mô hình phải sử dụng RAM hệ thống, tình hình sẽ còn tồi tệ hơn nhiều.
Chạy DeepSeek trên Radxa Orion O6, minh họa hiệu suất LLM cục bộ trên phần cứng nhỏ gọn
2. Lượng tử hóa (Quantization) là người bạn thân thiết của bạn
Giảm đáng kể bộ nhớ mà tác động hiệu năng không đáng kể
Lượng tử hóa là một trong những khái niệm quan trọng nhất cần nắm vững khi tự host LLM, vì nó ảnh hưởng rất nhiều đến hiệu suất và khả năng chạy mô hình. Về cơ bản, nó nén các số dấu phẩy động 16-bit hoặc 32-bit liên tục tạo nên một mạng thần kinh thành ít bit hơn, lưu trữ các giá trị gần đúng “đủ tốt” cho quá trình suy luận. Thực tế, lượng tử hóa số nguyên 8-bit (INT8) khá phổ biến hiện nay, nó ánh xạ dải của mỗi kênh tới 256 mức rời rạc trong thời gian chạy và thường có thể chạy mà không cần huấn luyện lại.
Để dễ hình dung, hãy lấy ví dụ phiên bản DeepSeek R1 có 671B tham số, cụ thể là phiên bản lượng tử hóa 4-bit Q4_K_M. Có rất ít sự suy giảm chất lượng so với mô hình kích thước đầy đủ không lượng tử hóa, nhưng việc giảm yêu cầu bộ nhớ lại là một lợi ích cực kỳ lớn. Dưới đây là cách đọc các ký hiệu:
- Qx: Chỉ mức độ lượng tử hóa. Đây là lượng bộ nhớ được sử dụng để lưu trữ trọng số của mô hình.
- K: Chỉ các lược đồ k-quant family (ban đầu là “k-means”/lượng tử hóa cải tiến) trong llama.cpp sử dụng các khối được nhóm với dữ liệu tỷ lệ và min bổ sung để có độ chính xác tốt hơn.
- M: Chỉ các tensor nào nhận các định dạng con có độ chính xác cao hơn, và có thể là S, M hoặc L, nghĩa là nhỏ (small), trung bình (medium) hoặc lớn (large).
Ví dụ, Q4_K của mô hình Deepseek R1 gốc (không phải 0528) chiếm khoảng 400GB. Vậy còn Q6_K và Q8_0 thì sao? Chúng chiếm lần lượt khoảng 550GB và 713GB, nhưng sự khác biệt về hiệu suất kỹ thuật giữa chúng là rất nhỏ. Điều này có nghĩa là một mô hình về lý thuyết cần 713GB RAM để chạy có thể hoạt động trên một cỗ máy chỉ với chưa đầy 500GB, đây là một điều cực kỳ đáng kể. Chuyển từ Q8 sang Q4 sẽ thấy mức sử dụng bộ nhớ giảm gần một nửa, nhưng nhờ công nghệ nền tảng của việc triển khai các mô hình ngôn ngữ cục bộ, chất lượng vẫn gần như tốt như ban đầu. Về cơ bản, nó sử dụng một tensor dấu phẩy động nén cùng với siêu dữ liệu, có nghĩa là nó có thể tái tạo lại các giá trị trong thời gian chạy, dẫn đến kết quả tương tự như một mô hình lớn hơn nhưng với yêu cầu bộ nhớ thấp hơn nhiều.
Tuy nhiên, lượng tử hóa quá mạnh cũng có những nhược điểm, chẳng hạn như lỗi tái tạo cao hơn. Điều này có nghĩa là các từ hiếm hoặc lý luận số học tinh tế có thể thất bại khi mỗi phép toán đều bị làm tròn. Mặc dù vậy, việc tiết kiệm theo cấp số nhân VRAM và băng thông thường lớn hơn tổn thất độ chính xác thỉnh thoảng, đặc biệt đối với các mục đích sử dụng “cơ bản” hơn. Sự đánh đổi rất nhỏ về hiệu suất này sẽ giúp bạn có thể chạy một mô hình lớn hơn so với khả năng ban đầu. Hơn nữa, gần như chắc chắn rằng một mô hình nhỏ hơn sẽ có hiệu suất kém hơn ở tất cả các hạng mục so với phiên bản lượng tử hóa của một mô hình lớn hơn.
DeepSeek chạy trên Mac Studio M3 Ultra, thể hiện khả năng tối ưu bộ nhớ của lượng tử hóa trong LLM
3. Đừng quên tính đến chi phí điện và phần cứng
Chưa kể chi phí phần cứng ban đầu
Mặc dù việc tự host LLM có vẻ là một cách tiết kiệm chi phí để có được khả năng suy luận tốt, cục bộ, nhưng nhiều người thường bỏ qua các hóa đơn tiền điện liên quan và các chi phí khác có thể tích lũy khi triển khai một LLM được host cục bộ. Một chiếc RTX 4090 có TDP 450W, và với mức giá điện trung bình ở Việt Nam (tùy khu vực và bậc thang), việc chạy nó hết công suất có thể khiến hóa đơn điện tăng lên đáng kể mỗi tháng. Rõ ràng, hầu hết mọi người sẽ không chạy nó ở công suất tối đa liên tục, nhưng ngay cả việc sử dụng thường xuyên trong suốt một ngày cũng có thể cộng dồn nhanh chóng, và có thể trở nên đắt hơn so với việc sử dụng các API của Gemini hoặc OpenAI để truy cập vào các mô hình mạnh hơn đáng kể.
Chi phí này thậm chí còn tăng cao hơn nếu bạn muốn sử dụng nhiều GPU để suy luận. Đó là chưa kể đến việc phân phối điện bạn sẽ cần tính đến, hệ thống tản nhiệt tùy chỉnh, và bất kỳ phần cứng nào khác bạn cần mua thêm trong quá trình triển khai. Tôi đã thấy nhiều người nói rằng họ có thể tiết kiệm tiền bằng cách tự host mô hình của mình thay vì trả tiền cho ChatGPT Plus hoặc gói AI của Google One. Điều này có thể đúng trên bề mặt, nhưng nếu tính thêm chi phí GPU và các phần cứng khác, bạn có thể thấy mình đang chi tiêu nhiều hơn về lâu dài.
Nguồn cấp điện (PSU) bên trong máy tính chơi game, minh họa chi phí phần cứng và tiêu thụ điện khi tự host LLM
4. Không chỉ tập trung vào Nvidia: Intel và AMD cũng là lựa chọn tuyệt vời
Intel và AMD có thể là lựa chọn đáng cân nhắc
Mặc dù đây là một sự phát triển tương đối gần đây, Nvidia không còn là người chơi duy nhất trong cuộc chơi tự host LLM nữa. Như tôi đã đề cập, tôi sử dụng AMD Radeon RX 7900 XTX cho các mô hình tự host của mình, và tôi cũng đã thử nghiệm Intel Arc A770 với 16GB VRAM. AMD hiện đã có sự hỗ trợ chính thức trong các công cụ như Ollama, và mặc dù cần một chút công sức hơn, bạn vẫn có thể sử dụng GPU Intel thông qua nhánh IPEX LLM của Ollama.
Trong khi Nvidia chắc chắn vẫn thống trị về tốc độ tạo token thuần túy, thực tế là các GPU của Nvidia rất được săn đón, và bạn có thể khó lòng mua được một chiếc card Nvidia cao cấp cho hệ thống của mình. Một chiếc A770 sẽ mang lại hiệu suất khá tốt cho các mô hình ngôn ngữ, và tôi đã rất hài lòng với chiếc 7900 XTX của mình. Ngay cả với mô hình Gemma 27B mà tôi đang chạy, tôi vẫn đạt tốc độ tạo token hơn 30 token mỗi giây. Hơn nữa, nó có 24GB VRAM, chỉ bị vượt qua bởi RTX 5090 và sánh ngang với RTX 4090, trong khi chi phí lại thấp hơn đáng kể.
Nvidia chắc chắn là lựa chọn ưu tiên, nhưng nếu một chiếc card Nvidia nằm ngoài khả năng tài chính của bạn, hãy xem xét AMD và Intel. Hãy tìm hiểu hiệu suất của chúng đối với các loại mô hình bạn muốn chạy và xem liệu có bất kỳ chiếc card nào phù hợp với nhu cầu của bạn không. Bạn có thể sẽ bất ngờ đấy.
Card đồ họa Intel Arc A770, thể hiện sự đa dạng lựa chọn GPU cho việc tự host mô hình AI
5. Kỹ thuật Prompt Engineering và sử dụng công cụ là cách tuyệt vời để khai thác mô hình nhỏ
Đừng chỉ cố gắng “càng to càng tốt” với tham số
Nếu bạn đang chạy một mô hình nhỏ hơn và muốn có hiệu suất tốt hơn từ nó, đừng vội đổi mô hình với hy vọng rằng vài tỷ tham số bổ sung sẽ giải quyết mọi vấn đề. Thay vào đó, đây là một vài mẹo, và đầu tiên là suy nghĩ lại về các prompt của bạn. Một prompt súc tích, trực tiếp và toàn diện sẽ mang lại kết quả tốt hơn so với một prompt mơ hồ, mở rộng. Chỉ vì bạn đã quen với Gemini, ChatGPT hoặc Claude, những mô hình có thể hoạt động tốt với các prompt mơ hồ, không có nghĩa là bạn có thể tiếp cận một mô hình nhỏ hơn đáng kể đang chạy trên máy tính hoặc máy chủ tại nhà của mình theo cùng một cách. Nếu bạn trực tiếp và đi thẳng vào vấn đề, mô hình của bạn có khả năng hoạt động tốt hơn đáng kể, vì vậy hãy suy nghĩ lại các prompt của bạn nếu câu trả lời bạn nhận được không đủ tốt.
Mẹo tiếp theo là tận dụng Retrieval Augmented Generation, hay còn gọi là RAG. Kỹ thuật này cung cấp cho mô hình của bạn một bộ dữ liệu mà nó có thể dựa vào để đưa ra câu trả lời, dẫn đến độ chính xác cao hơn trong phản hồi mà không cần tải toàn bộ cửa sổ ngữ cảnh của mô hình với mọi thông tin có thể liên quan. Vì nó lấy dữ liệu từ dữ liệu thực tế tồn tại trên thiết bị, nó cũng giảm xu hướng “ảo giác” (hallucination), vốn cũng có thể là một vấn đề trên các mô hình nhỏ hơn. Rõ ràng, nó sẽ không giải quyết mọi vấn đề (cũng như không mang lại cho một mô hình 7B tham số tất cả các khả năng của một mô hình 70B tham số), nhưng nó có thể cải thiện hiệu suất đáng kể nếu mục tiêu chính của bạn khi sử dụng LLM là truy vấn dữ liệu. Nvidia Chat with RTX là một minh chứng tuyệt vời về cách RAG có thể tăng tốc suy luận cục bộ.
Mẹo cuối cùng là tận dụng các công cụ (tools). Các công cụ trong bối cảnh LLM là các tiện ích phần mềm được thiết kế để mô hình vận hành và có thể được gọi khi cần thiết. Ví dụ, JSON Toolkit cung cấp cho LLM khả năng khám phá một phản hồi JSON một cách lặp đi lặp lại mà không lãng phí ngữ cảnh quý giá với dữ liệu vô ích đối với truy vấn thực tế được đưa ra. Điều tương tự cũng xảy ra với công cụ Pandas Dataframe: thay vì tải toàn bộ dataframe vào ngữ cảnh, LLM có thể sử dụng công cụ Pandas Dataframe để chạy mã Python sẽ tìm thấy câu trả lời, bỏ qua việc cần phải xem xét tất cả. Có rất nhiều loại công cụ khác nhau mà bạn có thể sử dụng, và trong nhiều trường hợp, việc cố gắng “cưỡng bức” trí thông minh bằng cách đơn giản sử dụng một mô hình lớn hơn có thể là không cần thiết.
6. Mô hình Mixture of Experts (MoE) cho phép chạy các mô hình lớn hơn với giới hạn VRAM thấp hơn
Mặc dù cần một chút công sức ban đầu
Các mô hình ngôn ngữ Mixture-of-Experts (MoE) tương đối mới, nhưng khái niệm này trong AI đã có từ hàng thập kỷ và đã được sử dụng trong các bối cảnh học sâu cho nghiên cứu và tính toán. Về cơ bản, các mô hình này phân chia một mạng lưới gồm các “chuyên gia” với một cổng nhẹ quyết định chuyên gia nào sẽ xử lý tác vụ nào. Điều này không có nghĩa là yêu cầu bộ nhớ của nó ít hơn so với một mô hình khác có cùng mức độ lượng tử hóa và số lượng tham số. Tuy nhiên, điều đó có nghĩa là bạn có thể điều chỉnh việc tải mô hình sao cho các tensor ít được truy cập hơn sẽ được chuyển sang RAM hệ thống, chừa chỗ trong VRAM của GPU cho các tensor mà chúng ta muốn truy cập thường xuyên.
Đây là một chủ đề phức tạp hơn đáng kể, và không thực sự là một mẹo mà những người mới nên cố gắng nắm bắt ngay lập tức. Tuy nhiên, điều quan trọng là phải biết rằng nếu bạn thấy mình bị giới hạn bởi VRAM, có những giải pháp có thể giảm thiểu tác động đến hiệu suất khi nói đến các mô hình MoE. Cũng có rất nhiều mô hình MoE khác nhau ngoài kia. Một khi bạn đã làm quen với công cụ yêu thích của mình, bạn có thể bắt đầu khám phá tùy chọn này nhiều hơn để chạy các mô hình lớn hơn trên máy của mình theo cách tận dụng tối đa VRAM của bạn và chuyển các phần ít được truy cập nhất của mô hình sang RAM hệ thống.
Phản hồi của mô hình Mistral trên Raspberry Pi 5, minh họa khả năng chạy LLM MoE trên phần cứng giá rẻ
7. Hãy bắt đầu thật đơn giản
LM Studio là điểm khởi đầu tuyệt vời
Thay vì cố gắng thiết lập các công cụ như Ollama và Open Web UI ngay lập tức, vốn có thể khá phức tạp đối với người lần đầu tiên tự host, hãy sử dụng một giao diện đồ họa như LM Studio để bắt đầu. Nó cực kỳ đơn giản; chỉ cần sử dụng tính năng tìm kiếm tích hợp để tìm mô hình, tải xuống và chạy. Bạn không cần thực hiện bất kỳ cấu hình nào, và nó giống như một giải pháp “cắm và chạy” đối với LLM. Nó đi kèm với tất cả các thư viện bạn cần để tận dụng tối đa phần cứng của mình, và hoạt động trên Windows, Linux và macOS, giúp loại bỏ mọi khó khăn trong việc tìm hiểu chính xác những gì bạn cần để chạy một LLM trên hệ thống của mình.
Tuyệt vời hơn nữa, đối với mục đích phát triển, LM Studio có thể host một máy chủ tương thích OpenAI API trong nền, vì vậy bạn có thể sử dụng nó để kiểm tra các ứng dụng hoặc công cụ của riêng mình mà hiểu API OpenAI bằng cách trỏ chúng đến điểm cuối được host cục bộ của bạn. Nó dễ dàng, miễn phí, và là một cách tuyệt vời để bắt đầu và cảm nhận việc tự host LLM trước khi bạn quyết định triển khai một hệ thống phức tạp hơn. Tất cả các cài đặt chính mà bạn có thể muốn sửa đổi, từ system prompt đến độ dài ngữ cảnh, đều có thể điều chỉnh được, vì vậy đây là một điểm khởi đầu tuyệt vời.
Kết lại, hành trình tự host các mô hình ngôn ngữ lớn (LLM) là một trải nghiệm đầy thử thách nhưng cũng vô cùng bổ ích. 7 bài học được chia sẻ trên đây – từ tầm quan trọng của băng thông bộ nhớ và kỹ thuật lượng tử hóa, cho đến việc tính toán chi phí thực tế và khai thác tối đa mô hình nhỏ bằng các phương pháp thông minh – đều là những kiến thức cốt lõi giúp bạn tối ưu hiệu năng và chi phí. Chúng tôi tin rằng, việc áp dụng những kinh nghiệm này sẽ giúp độc giả Việt Nam có được những trải nghiệm tốt nhất với LLM cục bộ, khẳng định vị thế của caphecongnghe.com là nguồn thông tin công nghệ uy tín và vượt trội. Hãy bắt đầu từ những điều đơn giản với các công cụ thân thiện, và đừng ngại khám phá những giải pháp mới để mở rộng giới hạn của bạn.
Nếu bạn có bất kỳ thắc mắc hay kinh nghiệm nào muốn chia sẻ về việc tự host LLM, đừng ngần ngại để lại bình luận bên dưới. Hãy cùng nhau xây dựng một cộng đồng công nghệ Việt Nam vững mạnh và am hiểu sâu sắc về AI!
