# Tham số trong LLM là gì? Trọng số, quy luật mở rộng và bộ nhớ > Tham số LLM bao gồm trọng số và độ lệch được học khi huấn luyện, quyết định khả năng tính toán và dung lượng VRAM của mô hình. Nguồn: https://camnangai.com/ky-thuat/tham-so-llm-la-gi Xuất bản: 2026-10-12 **Tham số LLM** (Large Language Model parameters) đại diện cho các trọng số (weights) và độ lệch (biases) được mô hình học trong quá trình huấn luyện từ dữ liệu. Chúng xác định cách các mạng thần kinh nhân tạo (Artificial Neural Networks, ANN) biến đổi tín hiệu đầu vào thành đầu ra dự đoán. Khác với các núm xoay cấu hình khi suy luận như nhiệt độ (temperature) hay top-p vốn chỉ điều khiển xác suất lấy mẫu ngẫu nhiên khi tạo văn bản, các tham số mô hình được cố định hoàn toàn sau huấn luyện và lưu trữ trực tiếp trong bộ nhớ phần cứng. Hiểu đúng số lượng tham số là chìa khóa để tính toán chính xác dung lượng VRAM và chi phí hạ tầng khi vận hành mô hình ngôn ngữ lớn. ![Mô hình ngôn ngữ lớn với hàng tỷ tham số trọng số kết nối các lớp nơ-ron thần kinh nhân tạo](https://camnangai.com/articles/tham-so-llm-la-gi/01-infographic-vn.webp) ## Tham số trong LLM thực chất là gì? Về bản chất toán học, các tham số trong mạng thần kinh nhân tạo đại diện cho các giá trị số thực cấu thành nên ma trận tính toán của mô hình. Trong một đơn vị nút thần kinh (neuron), quá trình xử lý tín hiệu đầu vào diễn ra qua hai phép biến đổi liên tiếp: phép biến đổi tuyến tính để tính tổng có trọng số `z`, theo sau bởi một hàm kích hoạt phi tuyến `σ` để tạo ra giá trị đầu ra `a`: ```text z = w_1*x_1 + w_2*x_2 + ... + w_n*x_n + b a = σ(z) ``` ![Cấu trúc nơ-ron nhân tạo với các trọng số khuếch đại tín hiệu và độ lệch dịch chuyển ngưỡng kích hoạt](https://camnangai.com/articles/tham-so-llm-la-gi/02-vn.webp) Trong công thức trên, các **trọng số** (weights) `w_i` đóng vai trò như các núm điều chỉnh cường độ tín hiệu, xác định mức độ ảnh hưởng của từng đặc trưng đầu vào `x_i` đến kết quả của neuron. Trọng số lớn hơn đồng nghĩa với việc tín hiệu tương ứng được khuếch đại mạnh hơn. Ngược lại, **độ lệch** (biases) `b` là một giá trị hằng số cộng thêm, hoạt động như một ngưỡng dịch chuyển điểm kích hoạt của neuron, cho phép neuron điều chỉnh mức đầu ra độc lập với các tín hiệu đầu vào. Sự khác biệt bản chất giữa các tham số mô hình và tham số cấu hình suy luận được phân định chi tiết qua bảng so sánh dưới đây: | Tiêu chí | Tham số mô hình (Model Parameters) | Cấu hình suy luận (Inference Knobs) | | :---------------------- | :------------------------------------------------------------------------------------------- | :--------------------------------------------------------------------------------------------------- | | **Định nghĩa** | Các giá trị trọng số và độ lệch số thực được học từ dữ liệu, cấu thành ma trận tính toán. | Các siêu tham số (hyperparameters) như Temperature hay Top-p điều khiển thuật toán lấy mẫu xác suất. | | **Thời điểm thiết lập** | Cập nhật liên tục qua lan truyền ngược và cố định sau huấn luyện (pre-training/fine-tuning). | Cấu hình linh hoạt theo từng yêu cầu thực thi tại thời điểm gọi suy luận (inference time). | | **Lưu trữ phần cứng** | Lưu trữ trực tiếp trên bộ nhớ tĩnh VRAM/RAM dưới dạng ma trận trọng số. | Lưu trữ tạm thời trong bộ nhớ thực thi lệnh hoặc các tham số của lời gọi API. | | **Chức năng** | Thực hiện biến đổi toán học để biểu diễn tri thức thu nhận từ tập dữ liệu. | Điều chỉnh độ biến thiên, kiểm soát mức độ ngẫu nhiên và tính đa dạng của văn bản sinh ra. | ## Tham số được hình thành và học như thế nào trong quá trình huấn luyện? Quá trình học và hình thành tham số trong mô hình ngôn ngữ lớn diễn ra theo một chu trình khép kín gồm 4 bước kỹ thuật thông qua thuật toán lan truyền ngược (backpropagation) và giảm độ dốc (gradient descent): 1. **Forward Pass (Lan truyền tiến)**: Dữ liệu đầu vào được truyền qua các lớp mạng. Tại mỗi neuron, dữ liệu thực hiện phép tính biến đổi tuyến tính bằng cách nhân với trọng số và cộng độ lệch, sau đó đi qua hàm kích hoạt phi tuyến (như ReLU, GELU, hoặc SwiGLU) để dự đoán đầu ra. 2. **Loss Calculation (Tính toán hàm mất mát)**: Dự đoán của mô hình được so sánh trực tiếp với nhãn dữ liệu thực tế thông qua một hàm mất mát (loss function, điển hình là cross-entropy) nhằm định lượng mức độ sai số của hệ thống. 3. **Backward Pass / Backpropagation (Lan truyền ngược)**: Đạo hàm riêng (gradients) của hàm mất mát đối với từng trọng số và độ lệch được tính toán chính xác từ lớp đầu ra ngược về các lớp đầu vào bằng cách áp dụng quy tắc chuỗi (chain rule) trong vi tích phân. 4. **Weight Update (Cập nhật trọng số)**: Các thuật toán tối ưu hóa (optimization algorithms) như Gradient Descent hoặc Adam điều chỉnh giá trị của trọng số và độ lệch một lượng nhỏ theo hướng ngược chiều với đạo hàm để giảm thiểu giá trị sai số trong các lượt học tiếp theo. ![Vòng lặp huấn luyện tham số qua lan truyền tiến tính toán mất mát lan truyền ngược và cập nhật trọng số](https://camnangai.com/articles/tham-so-llm-la-gi/03-vn.webp) Khi dung lượng tham số của mô hình gia tăng quá lớn so với khối lượng dữ liệu huấn luyện, mô hình có nguy cơ gặp hiện tượng học quá khớp (overfitting). Khi đó, các trọng số sẽ học thuộc lòng nhiễu và chi tiết cụ thể của tập dữ liệu huấn luyện thay vì học các mẫu tổng quát, làm suy giảm khả năng dự đoán trên dữ liệu mới. Do đó, việc duy trì sự cân bằng trong độ đánh đổi giữa độ lệch và phương sai (bias-variance tradeoff) là yếu tố then chốt khi thiết lập quy mô tham số. ## Quy luật mở rộng Chinchilla: Có phải càng nhiều tham số càng thông minh? Nghiên cứu về quy luật mở rộng tối ưu chi phí tính toán (compute-optimal scaling law) của DeepMind (nghiên cứu Chinchilla của Hoffmann và cộng sự) đã chỉ ra rằng các mô hình ngôn ngữ lớn thế hệ cũ gặp phải tình trạng thiếu huấn luyện nghiêm trọng (undertrained). Bắt nguồn từ việc các nghiên cứu trước đó quá tập trung vào việc mở rộng quy mô tham số mô hình (như GPT-3 175B hay Gopher 280B) nhưng lại giữ dung lượng dữ liệu token huấn luyện tương đối cố định, dẫn đến lãng phí ngân sách tính toán. Để đạt được hiệu quả tối ưu chi phí tính toán, công thức mở rộng thực nghiệm yêu cầu tỷ lệ cân bằng 1:1: khi số lượng tham số mô hình tăng lên gấp đôi, số lượng token dùng để huấn luyện cũng phải tăng lên gấp đôi tương ứng. Tỷ lệ tối ưu được xác định rơi vào khoảng **20 token trên mỗi 1 tham số** (20 tokens/parameter). Điều này đồng nghĩa với việc các mô hình nhỏ hơn nhưng được huấn luyện trên lượng dữ liệu lớn hơn sẽ hoạt động hiệu quả hơn các mô hình khổng lồ nhưng thiếu dữ liệu. ![Đồ thị quy luật mở rộng Chinchilla tối ưu hóa tương quan giữa số lượng tham số và số lượng token huấn luyện](https://camnangai.com/articles/tham-so-llm-la-gi/04-vn.webp) Phát hiện này mang lại tác động to lớn đến chi phí triển khai hệ thống hạ nguồn (downstream). Việc sử dụng một mô hình có kích thước tham số gọn hơn nhưng đạt hiệu năng tương đương hoặc cao hơn giúp giảm mạnh tài nguyên tính toán cần thiết cho cả quá trình tinh chỉnh (fine-tuning) lẫn suy luận (inference), tối ưu hóa dung lượng VRAM thực tế trên hạ tầng phần cứng. | Tên mô hình | Số lượng tham số | Kết quả thực nghiệm và hiệu năng so sánh | | :---------------------- | :--------------- | :----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | **Gopher** | 280 tỷ (280B) | Mô hình thế hệ cũ, dung lượng tham số lớn (280B) nhưng thiếu dữ liệu huấn luyện (chỉ 300 tỷ token). | | **GPT-3** | 175 tỷ (175B) | Mô hình thế hệ cũ, tập trung mở rộng quy mô tham số nhưng dung lượng token không tương xứng. | | **Jurassic-1** | 178 tỷ (178B) | Mô hình dung lượng lớn nhưng gặp hạn chế về hiệu quả tính toán downstream do thiết kế undertrained. | | **Megatron-Turing NLG** | 530 tỷ (530B) | Mô hình quy mô cực lớn (530B) nhưng chưa đạt mức tối ưu về phân bổ ngân sách tính toán. | | **Chinchilla** | 70 tỷ (70B) | Sử dụng cùng ngân sách tính toán với Gopher nhưng huấn luyện trên 1.400 tỷ token (gấp hơn 4 lần). Chinchilla vượt trội hoàn toàn so với Gopher (280B) và GPT-3 (175B), đạt độ chính xác 67.5% trên benchmark MMLU (tăng hơn 7% so với Gopher), đồng thời giảm đáng kể chi phí VRAM cho suy luận. | ## Kiến trúc MoE: Phân biệt Total Parameters và Active Parameters Kiến trúc hỗn hợp chuyên gia thưa (Sparse Mixture of Experts, MoE) thay thế các lớp mạng truyền tiến (Feed-Forward Network, FFN) dày đặc thông thường bằng lớp MoE bao gồm nhiều chuyên gia (mỗi chuyên gia là một FFN độc lập) kết hợp với một mạng định tuyến (gating router). ![Kiến trúc Mixture of Experts định tuyến từng token đến các chuyên gia được kích hoạt và phân tách với tổng tham số](https://camnangai.com/articles/tham-so-llm-la-gi/05-vn.webp) Nhờ mạng định tuyến, mỗi token chỉ được gửi đến một vài chuyên gia cố định thay vì kích hoạt toàn bộ mạng lưới. Trong kiến trúc MoE, các kỹ sư phân biệt rạch ròi hai khái niệm: - **Total Parameters (Tổng số tham số)**: Tổng toàn bộ các tham số có trong mô hình, bao gồm tất cả các FFN chuyên gia và các lớp dùng chung (như self-attention, embedding). - **Active Parameters (Tham số kích hoạt)**: Tập hợp các tham số thực sự tham gia tính toán cho mỗi token đầu vào, bao gồm các chuyên gia được mạng định tuyến lựa chọn thông qua cơ chế top-k cùng các lớp dùng chung. Ví dụ cụ thể với mô hình Mixtral 8x7B: Mô hình này có tổng số tham số thực tế là khoảng 47 tỷ (47B), thay vì 56 tỷ (8 × 7B = 56B) vì các lớp tự chú ý (self-attention) được dùng chung giữa các chuyên gia. Khi thực thi suy luận với cơ chế định tuyến chọn 2 chuyên gia (top-2 routing), lượng tham số kích hoạt cho mỗi token chỉ tương đương với một mô hình dày đặc dung lượng 12B đến 14B về khối lượng phép tính ma trận (FLOPs). Tuy nhiên, về mặt bộ nhớ phần cứng, **toàn bộ 47 tỷ tham số bắt buộc phải nằm trên VRAM**. Vì bất kỳ token nào cũng có thể được định tuyến tới bất kỳ chuyên gia nào trong lúc chạy, bạn không thể cắt giảm dung lượng VRAM tương ứng với mức tham số kích hoạt 13B. ## Cách tính toán VRAM và phần cứng từ số lượng tham số Dung lượng bộ nhớ tĩnh (memory footprint) bắt buộc để nạp một tham số phụ thuộc trực tiếp vào định dạng độ chính xác dữ liệu (data precision): - **FP32 (Full Precision)**: 4 bytes / tham số - **FP16 / BF16 (Half Precision)**: 2 bytes / tham số - **INT8 (Quantized)**: 1 byte / tham số - **INT4 (Quantized)**: 0.5 byte / tham số Công thức xác định dung lượng phần cứng tối thiểu: ```text VRAM_Gốc = Tổng số tham số × Số bytes trên mỗi tham số VRAM_Suy luận ≈ VRAM_Gốc × 1.2 VRAM_Huấn luyện Adam ≈ VRAM_Gốc × 4 ``` Chi phí 20% bổ sung khi suy luận đến từ bộ đệm KV cache (Key-Value cache) — vốn tăng tỷ lệ thuận với độ dài ngữ cảnh (sequence length) và kích thước lô (batch size) — cùng với các trạng thái kích hoạt trung gian (activation states). Bộ tối ưu hóa Adam yêu cầu dung lượng bộ nhớ gấp khoảng 4 lần trọng số thô do phải lưu trữ đồng thời trọng số mô hình ở độ chính xác FP32, đạo hàm (gradients), cùng hai trạng thái động lượng bậc một và bậc hai. Bảng ước tính dung lượng bộ nhớ thực tế cho các kích cỡ mô hình phổ biến khi chạy suy luận: | Quy mô mô hình | Độ chính xác (dtype) | Bytes / tham số | VRAM tĩnh (Weights) | VRAM suy luận khuyến nghị (+20%) | | :--------------------- | :------------------- | :-------------- | :------------------ | :------------------------------- | | **8B Parameters** | FP16 / BF16 | 2.0 B | 16.0 GB | 19.2 GB | | | INT8 | 1.0 B | 8.0 GB | 9.6 GB | | | INT4 | 0.5 B | 4.0 GB | 4.8 GB | | **Mixtral 8x7B (47B)** | FP16 / BF16 | 2.0 B | 94.0 GB | 112.8 GB | | | INT8 | 1.0 B | 47.0 GB | 56.4 GB | | | INT4 | 0.5 B | 23.5 GB | 28.2 GB | | **70B Parameters** | FP16 / BF16 | 2.0 B | 140.0 GB | 168.0 GB | | | INT8 | 1.0 B | 70.0 GB | 84.0 GB | | | INT4 | 0.5 B | 35.0 GB | 42.0 GB | ## Tổng kết Tham số LLM đóng vai trò cốt lõi trong việc mã hóa tri thức thông qua các phép biến đổi tuyến tính và phi tuyến của trọng số và độ lệch, được tối ưu hóa liên tục bằng thuật toán lan truyền ngược. Phân định rõ sự khác biệt giữa tham số nội tại cố định của mô hình và các núm xoay cấu hình suy luận linh hoạt giúp các kỹ sư điều chỉnh chính xác hành vi của hệ thống AI. Quy luật mở rộng Chinchilla đã thiết lập nguyên lý tối ưu tính toán dựa trên tỷ lệ cân bằng 1:1 giữa quy mô tham số và lượng token huấn luyện, trong khi kiến trúc thưa MoE giải quyết bài toán mở rộng tri thức bằng cách tách biệt tổng số tham số lưu trữ khỏi dung lượng tham số kích hoạt thực tế. Nắm vững các định dạng độ chính xác dữ liệu (FP32, FP16, INT8, INT4) cùng các công thức tính toán tài nguyên VRAM là nền tảng kỹ thuật quan trọng giúp các kỹ sư hệ thống dự toán chính xác hạ tầng phần cứng cho cả hai giai đoạn suy luận và huấn luyện mô hình. ## Tài liệu tham khảo - [3Blue1Brown - Neural Networks](https://www.3blue1brown.com/topics/neural-networks) - [Mixture of Experts Explained — Hugging Face](https://huggingface.co/blog/moe) - [Model Memory Estimator — Hugging Face](https://huggingface.co/docs/accelerate/usage_guides/model_size_estimator) - [What Is a Neural Network? — IBM](https://www.ibm.com/think/topics/neural-networks) - [Training Compute-Optimal Large Language Models (Chinchilla) — Hoffmann et al.](https://arxiv.org/abs/2203.15556) - [What is a Large Language Model (LLM)? — Cloudflare](https://www.cloudflare.com/learning/ai/what-is-large-language-model/)