Local AI: cách chạy AI miễn phí, riêng tư trên máy của bạn

Đổi lại, bạn cắt được chi phí trên mỗi token và giữ toàn quyền kiểm soát dữ liệu.

Mọi truy vấn và phản hồi đều được xử lý nội bộ, nên thông tin nhạy cảm không rời khỏi thiết bị.

Chạy AI trên máy của bạn thực ra nghĩa là gì?

Chạy AI cục bộ, về mặt kỹ thuật, nghĩa là quá trình suy luận (inference) diễn ra ngay trên GPU hoặc CPU cá nhân. Khi bạn gửi một yêu cầu, phần cứng sẽ tính toán các trọng số toán học của mô hình để sinh ra kết quả. Đây là tác vụ cực kỳ thâm dụng băng thông bộ nhớ và dung lượng VRAM (bộ nhớ riêng của card đồ họa). Nếu không tối ưu, một mô hình nguyên bản ở độ chính xác FP16 sẽ chiếm dụng lượng bộ nhớ vượt xa khả năng của các dòng card đồ họa dân dụng.

Đó là lý do kỹ thuật nén mô hình (quantization) trở thành bắt buộc. Quá trình này chuyển các trọng số từ FP16 xuống những mức thấp hơn như Q4_K_M (4-bit) hoặc Q8_0 (8-bit). Q4_K_M là mức mặc định được khuyến nghị cho phần cứng dân dụng: nó giữ được 90–95% chất lượng của FP16 nhưng chỉ tốn 25–30% lượng VRAM. Cụ thể, Llama 3.1 8B ở FP16 cần 16GB VRAM; nén xuống Q4_K_M, nó chỉ còn cần 4.7GB.

Định dạng tệp GGUF là tiêu chuẩn chung của cả hệ sinh thái. GGUF đóng gói mô hình và metadata vào một tệp duy nhất, hỗ trợ suy luận trên nhiều kiến trúc — từ NVIDIA CUDA, chip Apple Silicon (Metal), cho đến các CPU hỗ trợ tập lệnh AVX512. Khả năng "offload" từng lớp (layer) của mô hình từ RAM lên VRAM giúp hệ thống tận dụng tối đa GPU, đồng thời vẫn dùng được RAM làm bộ nhớ đệm khi VRAM bị tràn.

Vì sao ngày càng nhiều người chuyển sang chạy local

Lợi ích kinh tế đến từ việc chuyển từ OPEX (chi phí vận hành hàng tháng) sang CAPEX (đầu tư phần cứng một lần). Trang bị xong hệ thống, chi phí sử dụng của bạn về $0 trên mỗi token. Với các doanh nghiệp hoặc lập trình viên xử lý hàng triệu token mỗi ngày, một cụm GPU cục bộ sẽ hoàn vốn chỉ sau vài tháng so với việc trả phí API.

Bảo mật và quyền riêng tư là lý do then chốt thứ hai. Local AI giúp dữ liệu tránh khỏi các rủi ro vi phạm quy định pháp lý. Triển khai cục bộ cũng giúp bạn đáp ứng những tiêu chuẩn khắt khe nhất về lưu trữ dữ liệu nội bộ, không phải lo mô hình được huấn luyện lại trên chính thông tin nhạy cảm của mình.

Cuối cùng là khả năng hoạt động ngoại tuyến và tính tùy biến. Bạn không bị giới hạn bởi các bộ lọc kiểm duyệt của nhà cung cấp cloud, và có thể tinh chỉnh mô hình cho những tác vụ chuyên biệt như agentic coding (để agent tự viết và sửa code) hay phân tích tài liệu nội bộ — không phụ thuộc đường truyền Internet, cũng không phụ thuộc tình trạng quá tải của máy chủ bên thứ ba.

Ba tầng của một hệ thống local AI: engine, ứng dụng và máy chủ phục vụ

Tầng engine là lõi tính toán, nơi llama.cpp và MLX chiếm ưu thế. llama.cpp được viết bằng C++ thuần túy, tối ưu hóa cho hầu hết các kiến trúc chip hiện nay. MLX là thư viện của Apple, thiết kế để khai thác tối đa băng thông bộ nhớ thống nhất trên các dòng chip M-series.

Tầng ứng dụng cung cấp giao diện tương tác (GUI). LM Studio hoặc AnythingLLM là những lựa chọn phổ biến, cho phép bạn tải mô hình trực tiếp từ Hugging Face và thiết lập tham số suy luận qua giao diện đồ họa, không cần biết dòng lệnh.

Tầng máy chủ (serving) biến máy cá nhân thành một trung tâm API cục bộ. Thông qua llama-server hoặc Ollama, bạn tạo được một endpoint tương thích chuẩn OpenAI để các ứng dụng khác gọi vào. Cấu hình tối ưu để khởi chạy một máy chủ suy luận bằng llama-server:

llama-server -m llama3.1-8b-q4_k_m.gguf --n-gpu-layers 99 --flash-attn --ctx-size 8192 --port 8080

Giải thích: --n-gpu-layers 99 ép toàn bộ mô hình vào VRAM, --flash-attn sử dụng nhân tối ưu để giảm bộ nhớ khi xử lý ngữ cảnh, và --ctx-size 8192 thiết lập độ dài cửa sổ ngữ cảnh.

Ollama, LM Studio hay llama.cpp: nên chọn cái nào?

Ollama là lựa chọn hàng đầu cho lập trình viên nhờ triết lý CLI-first và cách quản lý mô hình kiểu Docker. Nó rất mạnh khi cần tích hợp vào pipeline tự động hóa hoặc môi trường container. Đổi lại, Ollama đôi khi tự động ẩn bớt các cấu hình chuyên sâu để đơn giản hóa trải nghiệm.

LM Studio hợp với nhu cầu thử nghiệm mô hình nhanh. Ưu điểm lớn nhất là tính trực quan: nó hiển thị mức tiêu thụ VRAM dự kiến trước khi bạn nạp mô hình, và tích hợp sẵn công cụ chat. Đây là ứng dụng "tất cả trong một" tốt nhất cho người dùng phổ thông.

llama.cpp dành cho các chuyên gia hệ thống cần kiểm soát từng cờ hiệu suất. Nếu bạn biết cách tinh chỉnh tham số offload GPU, một card như RTX 4070 Ti có thể chạy Llama 3.1 8B ở mức Q8_0 với tốc độ khoảng 80 token/giây.

Máy của bạn chạy được mô hình cỡ nào?

Để xác định khả năng của hệ thống, bạn dùng công thức: VRAM (GB) = (Số tham số tỷ x Số bit quantization) / 8. Ví dụ, mô hình Llama 3.1 8B ở mức Q4 (4-bit) sẽ tiêu tốn (8 x 4) / 8 = 4GB cho riêng trọng số.

Phân khúc phần cứng năm 2026 chịu ảnh hưởng nặng từ tình trạng khan hiếm bộ nhớ GDDR7. Tình hình xấu đi chứ không dịu lại: giá thị trường của RTX 5090 leo từ khoảng $4.000 hồi tháng 6 lên $4.300–5.000+ vào giữa tháng 7, trong khi RTX 4090 đã ngừng sản xuất. Các mốc phần cứng đáng cân nhắc:

• RTX 5070 (12GB): chạy các mô hình 7B–14B ở khoảng 90 token/giây. Đây là mức khởi điểm để local AI hoạt động thoải mái.
• RTX 5060 Ti (16GB): chạy 7B–13B, nhiều VRAM hơn nhưng băng thông thấp hơn dòng 5070.
• RTX 5070 Ti / RTX 5080 (16GB): phân khúc chủ lực cho các mô hình 14B–32B như Mistral Small 3.1 hay Qwen3 14B.
• AMD RX 9070 XT (16GB GDDR6, khoảng $630–700): gần như thoát được đợt khan hàng, nên rẻ hơn hẳn card NVIDIA cùng dung lượng VRAM.
• RTX 5090 (32GB): kéo được mô hình 70B ở Q4_K_M nhưng phải offload nhẹ sang CPU. Muốn chạy 70B trọn vẹn trong VRAM, bạn cần hai card 5090.
• Mac M5 Max (128GB bộ nhớ thống nhất): chạy 70B ở Q4_K_M khoảng 12–15 token/giây, ngay trên một chiếc laptop.

Cảnh báo về KV Cache: Trọng số mô hình mới chỉ là một phần. Khi dùng ngữ cảnh dài, KV Cache sẽ chiếm thêm VRAM. Llama 3.1 8B chỉ cần 4.7GB cho trọng số, nhưng nạp 128K context thì KV Cache ngốn thêm tới 16GB, gây lỗi tràn bộ nhớ (OOM) ngay cả trên card 16GB.

Bạn đánh đổi những gì khi rời cloud

Thứ nhất là khoảng cách chất lượng, và nó có thật. Các mô hình 7B chạy local đạt điểm thấp hơn GPT-5.6 khoảng 10–20 điểm ở các bài kiểm tra lý luận và lập trình. Trên HumanEval, mô hình 7B local đạt 45–55% trong khi GPT-5.6 đạt 90%. Khoảng cách này thu hẹp lại ở quy mô 70B, nhưng 70B thì đòi hỏi phần cứng thuộc nhóm đắt nhất.

Thứ hai là tốc độ. Chạy thuần CPU, bạn nhận được 10–25 token/giây — đủ để đọc theo, không đủ để làm việc thoải mái. Các API đám mây trả về 80–150 token/giây. Riêng một chiếc RTX 4090 cho 130–160 token/giây, tức là ngang ngửa hoặc nhanh hơn cloud — nhưng bạn phải bỏ tiền mua nó trước.

Thứ ba là giới hạn quy mô tham số. Những mô hình biên (frontier models) lớn nhất vẫn nằm ngoài tầm với của một máy để bàn, dù bạn nén tới mức nào. Cộng thêm chi phí vận hành vật lý: card đầu bảng ăn điện lớn và cần tản nhiệt chuyên dụng nếu bạn định chạy 24/7.

"Local" không còn đồng nghĩa với riêng tư tuyệt đối

Năm 2026 đánh dấu bước chuyển của các công cụ local AI sang mô hình kinh doanh dịch vụ. Ollama đã giới thiệu các gói trả phí kết nối đám mây. Khi bạn bật những tính năng như đồng bộ hóa, web search hay plugin bổ trợ, dữ liệu của bạn có thể được gửi ra máy chủ bên ngoài để xử lý.

Nghĩa là quyền riêng tư giờ là một lựa chọn cấu hình, chứ không còn mặc nhiên đi kèm khi bạn cài một ứng dụng "local". Phần lõi chạy cục bộ có thể giữ dữ liệu trong máy, nhưng các module tìm kiếm web, plugin tích hợp hay tính năng agent đồng bộ qua cloud thì vẫn đẩy dữ liệu đi.

Vậy nên đừng tin vào nhãn "local" một cách mù quáng. Hãy kiểm tra lưu lượng mạng thực tế của ứng dụng, soát lại endpoint mà nó đang trỏ tới, và ưu tiên các công cụ mã nguồn mở có thể ngắt kết nối Internet hoàn toàn (air-gapped) khi bạn xử lý dữ liệu đặc biệt nhạy cảm.

Khi nào nên chạy local, và bắt đầu từ đâu

Bạn nên đầu tư máy local khi khối lượng xử lý đủ lớn để chi phí API trở thành khoản đáng kể, hoặc khi làm việc với mã nguồn và tài liệu thuộc diện bảo mật cao. Đây cũng là môi trường lý tưởng để phát triển các ứng dụng agent tự động hóa mà không nơm nớp lo hóa đơn API.

Lộ trình bắt đầu thực tế nhất là một PC với RTX 5060 Ti 16GB, hoặc một máy Mac 16GB RAM, để vận hành các mô hình 3B–8B (Phi-4 Mini, Llama 3.2). Với card NVIDIA, hãy luôn đặt tham số --n-gpu-layers 99 để ép toàn bộ các lớp mô hình lên bộ nhớ GPU, thay vì để CPU gánh và làm hiệu năng sụt nghiêm trọng.

Local AI là phần bổ sung cho cloud, không phải bản thay thế

Đầu tư vào một hệ thống local AI là bước đi hợp lý để bảo vệ chủ quyền dữ liệu và tối ưu chi phí dài hạn. Nó không xóa sổ đám mây: với những tác vụ suy luận nặng nhất, cloud vẫn nhanh hơn và rẻ hơn so với việc bạn tự mua sắm phần cứng.

Cách dùng đúng là coi local là nơi mặc định cho dữ liệu nhạy cảm và khối lượng lặp đi lặp lại, còn cloud là chỗ bạn gọi tới khi thực sự cần một mô hình lớn hơn máy mình.

Tài liệu tham khảo

• llama.cpp: LLM inference in C/C++ — ggml-org
• Ollama — The easiest way to build with open models
• LM Studio — An Agent made for Open Models
• Ollama vs LM Studio vs llama.cpp: Which Local LLM Runner Should You Use? — InventiveHQ
• Local LLM Hardware Requirements 2026: 8GB to 70B by VRAM — PromptQuorum
• Local LLM Trade-Offs 2026: Privacy vs Speed vs Quality — PromptQuorum
• Local LLMs 2026: The Hidden Cloud Tiers Privacy Catch — SolidAITech
• Popular open source AI developer tool Ollama raises $65M, grows to nearly 9M users — TechCrunch