# 5 dự án thực chiến để làm chủ LLM Engineering năm 2027

> Khám phá 5 dự án AI Engineering thực chiến năm 2027 giúp bạn làm chủ RAG lai, Multi-Agent, AI Gateway, Eval Suite và Fine-tuning SLM đạt chuẩn production.

Nguồn: https://camnangai.com/ung-dung-ai/lap-trinh-vien/du-an-thuc-chien-llm-engineering-2027  
Xuất bản: 2026-11-15

Tự tay xây dựng 5 hệ thống production thực thụ (RAG, Agent, Gateway, Eval Suite, SLM) là con đường
  duy nhất để bạn làm chủ **LLM Engineering** năm 2027.

Các khóa học hay tutorial ngẫu nhiên chỉ cung cấp lý thuyết bề nổi và bản demo đơn giản.

  Để biến ý tưởng thành sản phẩm quy mô thương mại, bạn phải tự tay xử lý các điểm nghẽn kỹ thuật
  thực tế: độ trễ suy luận, chi phí vận hành, điểm trôi thông tin (hallucination) và kiểm soát hồi
  quy hệ thống.


![5 dự án thực chiến làm chủ LLM Engineering năm 2027](https://camnangai.com/articles/du-an-thuc-chien-llm-engineering-2027/01-infographic-vn.webp)

## Bẫy "xem tutorial" và tiêu chuẩn thực thụ của một AI Engineer năm 2027

Sự bùng nổ của các bài viết hướng dẫn (tutorial) và khóa học ngắn hạn đang tạo ra một ảo tưởng nguy hại trong cộng đồng kỹ thuật. Việc đọc các cuốn sách nền tảng như _AI Engineering_ của Chip Huyen hay _The LLM Engineering Handbook_ của Paul Iusztin và Maxime Labonne là bước đệm cần thiết để bạn nắm vững thuật ngữ và khung lý thuyết. Tuy nhiên, như Andrej Karpathy và Eugene Yan từng nhận định: xây dựng một bản demo chạy qua một khung cảnh đơn giản là việc rất dễ dàng, nhưng để phát triển nó thành một sản phẩm thương mại hoạt động bền vững và đáng tin cậy phải mất nhiều năm trời — tương tự như sự khác biệt giữa việc lập trình một chiếc xe tự lái chạy quanh một block nhà đơn giản và việc đưa xe tự lái ra thương mại hóa thực tế. Lý thuyết thụ động không thể thay thế cho trải nghiệm thực chiến khi hệ thống gãy đổ trong môi trường production.

Khi đưa một ứng dụng LLM ra thực tế, bạn sẽ đối mặt với hàng loạt điểm nghẽn kỹ thuật mà các tutorial ngắn hạn thường cố tình bỏ qua. Đầu tiên là bản chất không ổn định của mô hình xác suất (probabilistic output), khiến cùng một đầu vào có thể trả về các định dạng đầu ra hoàn toàn khác nhau. Tiếp theo là thách thức về độ trễ suy luận (latency) và chi phí gọi API tăng vọt theo cấp số nhân khi lượng truy vấn người dùng mở rộng. Bên cạnh đó, khi quy mô dữ liệu doanh nghiệp tăng lên, hiện tượng suy giảm hiệu năng truy xuất và hiện tượng trôi thông tin (hallucination) sẽ ngay lập tức làm sụp đổ trải nghiệm người dùng nếu hệ thống thiếu đi các cơ chế phòng hộ chuyên sâu.

Đến năm 2027, tiêu chuẩn để định danh một AI Engineer thực thụ không nằm ở kỹ năng gõ prompt (prompt engineering) hay việc sử dụng các giao diện kéo thả công cụ. Một kỹ sư AI chuẩn production phải là người sở hữu tư duy kiến trúc hệ thống (system architecture) vững chắc. Bạn phải đủ năng lực tự thiết kế và triển khai đường ống dữ liệu end-to-end, xây dựng bộ kiểm thử tự động (eval harness), thiết lập các lớp phòng hộ (guardrails) đa tầng và tối ưu hóa hạ tầng suy luận để đạt cân bằng hoàn hảo giữa chi phí, độ trễ và độ chính xác.

## Dự án 1: Production RAG với tìm kiếm lai và cơ chế từ chối khi thiếu dữ liệu

![Kiến trúc Production RAG với tìm kiếm lai BM25 và Vector Search](https://camnangai.com/articles/du-an-thuc-chien-llm-engineering-2027/02-vn.webp)

Một hệ thống Retrieval-Augmented Generation (RAG) cấp độ production đòi hỏi kiến trúc tìm kiếm lai (Hybrid Search) để khắc phục triệt để điểm yếu của các phương pháp truy xuất đơn lẻ. Nếu bạn chỉ vận hành truy xuất dựa trên không gian nhúng (embedding-based vector search) sử dụng các giải thuật như FAISS, ScaNN hay HNSW, hệ thống sẽ thất bại khi xử lý các truy vấn chứa mã định danh (ID sản phẩm), tên riêng, hoặc từ viết tắt chuyên ngành. Giải pháp chuẩn mực là kết hợp vector search với tìm kiếm dựa trên từ khóa (term-based retrieval) như BM25 hoặc Elasticsearch. Khi thiết kế hệ thống vector search, bạn phải phân tích kỹ 4 chỉ số đánh đổi cốt lõi theo Chip Huyen: Độ recall (tỷ lệ tìm thấy neighbor chính xác), Thông lượng QPS (số truy vấn xử lý mỗi giây), Thời gian dựng chỉ mục (Build Time), và Dung lượng chỉ mục (Index Size). Tìm kiếm từ khóa giữ vai trò truy xuất chính xác các thực thể cứng, trong khi vector search đảm nhận việc bắt trọn ngữ nghĩa tuyệt đối của câu hỏi.

Sau khi thu thập tập ứng viên từ hai đường ống truy xuất, bạn phải triển khai kỹ thuật xếp hạng lại (reranking) hai giai đoạn để tối ưu hóa cửa sổ ngữ cảnh. Giai đoạn đầu sử dụng bộ truy xuất chi phí thấp để lọc ra danh sách ứng viên sơ bộ. Giai đoạn hai áp dụng các mô hình rerank chuyên biệt hoặc thuật toán k-NN chính xác cao để sắp xếp lại thứ tự tài liệu. Việc này giải quyết trực tiếp hiện tượng "Lost in the Middle" — hiện tượng các mô hình ngôn ngữ lớn chỉ tập trung chú ý vào thông tin nằm ở đầu và cuối ngữ cảnh mà bỏ qua phần giữa. Đồng thời, bạn cần xây dựng chiến lược chia nhỏ văn bản (chunking) tối ưu, cân bằng giữa giới hạn token của mô hình và độ trễ truy xuất.

Đối với các câu hỏi mơ hồ hoặc chứa thông tin ẩn, hệ thống RAG production phải tích hợp kỹ thuật Viết lại Truy vấn (Query Rewriting). Mô hình sẽ tự động phân tích lịch sử hội thoại để tạo ra một câu truy vấn độc lập, làm rõ ý định thực sự của người dùng trước khi thực thi truy xuất dữ liệu. Khi đối mặt với dữ liệu có cấu trúc như bảng biểu hoặc cơ sở dữ liệu SQL, bạn cần áp dụng quy trình Tabular RAG (Text-to-SQL): mô hình sẽ dự đoán bảng dữ liệu cần sử dụng, sinh câu lệnh SQL, thực thi trên database và tổng hợp kết quả thành câu trả lời tự nhiên cho người dùng.

Điểm phân tách giữa một bản demo và một hệ thống production nằm ở cơ chế phòng vệ tự động và quy trình kiểm thử định hướng. Bạn phải thiết lập các guardrail nhận diện mức độ liên quan của dữ liệu truy xuất; nếu văn bản được trả về không chứa thông tin để trả lời, hệ thống phải kích hoạt cơ chế từ chối (refusal mechanism) thay vì cố tình sinh ra thông tin sai sự thật. Để kiểm soát chất lượng, theo kinh nghiệm thực tế từ Abhishek Pan, bạn cần lập ra một tập kiểm thử gồm 20 câu hỏi chuẩn hóa được gán nhãn chính xác vị trí trang và mục dữ liệu nguồn trước khi xây dựng UI. Khi câu trả lời bị sai, danh sách này cho phép bạn phân định rạch ròi: lỗi xuất phát từ bước truy xuất (retrieval step) bỏ lỡ đoạn văn bản hay từ bước sinh câu trả lời (generation step) bỏ qua ngữ cảnh được cung cấp.

## Dự án 2: Hệ thống Multi-Agent có trạng thái với Guardrails và Human-in-the-Loop

![Kiến trúc hệ thống Multi-Agent có trạng thái và điểm dừng Human-in-the-Loop](https://camnangai.com/articles/du-an-thuc-chien-llm-engineering-2027/03-vn.webp)

Khi thiết kế các hệ thống Agentic Systems, bạn phải phân biệt rõ ràng hai khái niệm kiến trúc cốt lõi theo Anthropic: Workflows và Autonomous Agents. Workflows là các hệ thống trong đó LLM và các công cụ được điều phối thông qua các đường dẫn mã lập trình định sẵn (như Prompt Chaining, Routing, Parallelization). Ngược lại, Autonomous Agents là các hệ thống mà mô hình ngôn ngữ tự định hướng hành vi, tự quyết định chọn công cụ (tool calls) và duy trì vòng lặp thực thi để đạt được mục tiêu. Việc lạm dụng agent tự do cho các tác vụ mang tính quy trình cố định chỉ làm tăng chi phí và độ trễ không cần thiết.

Để giải quyết các bài toán kinh doanh phức tạp, bạn cần làm chủ hai mô hình điều phối Agent tiên tiến: Orchestrator-Workers và Evaluator-Optimizer. Ở mô hình Orchestrator-Workers, một Agent trung tâm đóng vai trò lập kế hoạch, phân rã bài toán lớn thành các tác vụ nhỏ và giao cho các Worker Agent chuyên biệt thực thi song song. Trong mô hình Evaluator-Optimizer, một agent sinh ra đầu ra và một agent khác đóng vai trò đánh giá, tạo thành vòng lặp phản hồi liên tục cho đến khi kết quả đạt chuẩn. Cả hai mô hình đều yêu cầu bạn phải xây dựng một vòng lặp có trạng thái (stateful loop), cho phép agent liên tục tiếp nhận thông tin thực tế từ môi trường (ground truth) để cập nhật trạng thái thực thi.

Vấn đề an toàn cho Agent đòi hỏi việc triển khai các lớp kiểm soát đa tầng. Ở đầu vào (Input Guardrails), bạn phải tích hợp công cụ phát hiện và ẩn dữ liệu cá nhân (PII) bằng cơ chế tự động thay thế mã định danh reversible dictionary trước khi gửi truy vấn ra API ngoài, đồng thời chặn đứng các cuộc tấn công chiếm quyền điều khiển (Prompt Injection/Jailbreaking). Ở đầu ra (Output Guardrails), hệ thống phải quét độc hại, vi phạm thương hiệu và kiểm tra tính nhất quán thực tế. Quan trọng hơn, bạn phải phân định rạch ròi giữa thao tác chỉ đọc (read-only actions) và thao tác ghi (write actions) để giới hạn vùng ảnh hưởng khi agent đưa ra quyết định sai.

Cuối cùng, kiến trúc an toàn cho Agent sản xuất bắt buộc phải có cơ chế can thiệp của con người (Human-in-the-Loop) và thiết kế giao diện Agent-Computer Interface (ACI) tối ưu. Các thao tác ghi mang tính rủi ro cao như thực thi lệnh SQL sửa đổi dữ liệu hay chuyển khoản ngân hàng phải bị tạm dừng để chờ con người phê duyệt qua giao diện kiểm soát. Khi thiết kế ACI, bạn cần tài liệu hóa các công cụ một cách rõ ràng như viết docstring cho lập trình viên, đưa ra các trường hợp biên và bắt buộc sử dụng đường dẫn tuyệt đối (absolute filepaths) thay vì đường dẫn tương đối — bài học kỹ thuật rút ra từ thực tế thất bại của các agent trên bộ benchmark SWE-bench khi di chuyển giữa các thư mục.

## Dự án 3: AI Gateway với Semantic Caching và điều phối mô hình theo chi phí

![Sơ đồ kiến trúc AI Gateway với điều phối thông minh và Semantic Caching](https://camnangai.com/articles/du-an-thuc-chien-llm-engineering-2027/04-vn.webp)

Trong một hạ tầng Generative AI doanh nghiệp, việc gọi trực tiếp các API mô hình từ ứng dụng là một sai lầm kiến trúc nghiêm trọng. Bạn cần xây dựng một lớp trung gian AI Gateway đóng vai trò làm lớp trừu tượng hóa tập trung. Gateway quản lý toàn bộ kết nối đến các nhà cung cấp bên ngoài (OpenAI, Anthropic) và các mô hình tự host. Các chức năng cốt lõi bắt buộc phải có bao gồm: quản lý quyền truy cập tập trung (access control), giới hạn tốc độ truy vấn (rate-limiting), ghi log toàn cục, và chính sách dự phòng (fallback policy). Khi API chính bị quá tải hoặc gặp sự cố, Gateway sẽ tự động chuyển hướng request sang mô hình phụ mà không làm gián đoạn dịch vụ của người dùng.

Để tối ưu hóa chi phí vận hành, AI Gateway cần được trang bị mô hình định tuyến thông minh dựa trên chi phí (Cost-based Model Routing). Bạn có thể triển khai một bộ phân loại ý định (intent classifier) hoặc mô hình dự đoán hành vi kích thước nhỏ hoạt động với độ trễ cực thấp tại Gateway. Các truy vấn đơn giản sẽ được phân luồng tự động sang các mô hình giá rẻ như Claude Haiku, trong khi các truy vấn phức tạp mới được định tuyến đến các mô hình lớn như Claude Sonnet. Đặc biệt, Gateway phải xử lý linh hoạt giới hạn cửa sổ ngữ cảnh (context window limits): nếu một tác vụ agentic (như tìm kiếm web) mở rộng câu thoại ban đầu từ 1.000 token thành 8.000 token vượt quá giới hạn của mô hình nhỏ được định tuyến ban đầu, Gateway phải tự động thực hiện cắt giảm ngữ cảnh (truncation) hoặc định tuyến lại động (dynamic re-routing) sang mô hình có cửa sổ ngữ cảnh lớn hơn.

Tối ưu độ trễ và chi phí tại Gateway đòi hỏi việc kết hợp nhiều tầng bộ nhớ đệm (Caching). Phương pháp Prompt Cache (hay Context Cache như Gemini API) lưu trữ lại các đoạn văn bản cố định trùng lặp giữa các truy vấn như System Prompt dài hoặc ngữ cảnh cố định. Về chi phí, token đầu vào được cache sẽ nhận mức giảm giá 75% so với token thông thường, tuy nhiên bạn phải trả chi phí lưu trữ đệm tính theo giờ (ví dụ $1.00 / 1 triệu token/giờ). Trong khi đó, Exact Cache hoạt động ở tầng dữ liệu kết xuất, lưu trữ chính xác câu trả lời cho các truy vấn trùng khớp hoàn toàn hoặc các truy vấn tra cứu theo ID sản phẩm cố định thông qua các bộ lưu trữ dữ liệu nhanh như Redis hoặc PostgreSQL.

Bộ nhớ đệm ngữ nghĩa (Semantic Cache) là một thành phần kỹ thuật mạnh mẽ nhưng chứa đựng nhiều rủi ro nếu không được thiết kế đúng cách. Semantic Cache sử dụng không gian nhúng vector và các ngưỡng tương đồng (similarity threshold) để trả về kết quả cho các câu hỏi có cùng ý nghĩa dù khác cách diễn đạt. Tuy nhiên, nếu cài đặt ngưỡng tương đồng sai lệch, hệ thống sẽ trả về kết quả hoàn toàn sai cho người dùng, gây đứt gãy tính đúng đắn của ứng dụng. Do đó, bạn chỉ nên áp dụng Semantic Cache cho các tập truy vấn có phân bố quy luật lũy thừa (power-law distribution) rõ ràng và không mang tính thời sự cao, đồng thời phải đo lường kỹ lưỡng đánh đổi giữa thời gian thực thi vector search và chi phí gọi LLM.

## Dự án 4: Bộ kiểm thử đánh giá tự động (Evaluation Harness) và kiểm soát hồi quy

![Quy trình kiểm thử đánh giá tự động và kiểm soát hồi quy trong CI/CD](https://camnangai.com/articles/du-an-thuc-chien-llm-engineering-2027/05-vn.webp)

Hạ tầng đánh giá (Evals) chính là ranh giới kỹ thuật rõ ràng nhất giữa các nhóm phát triển phần mềm tự phát và các đội ngũ AI Engineering chuyên nghiệp. Nhận định từ Hamel Husain khẳng định rằng việc thiếu bộ kiểm thử chuẩn mực là nguyên nhân cốt lõi khiến các sản phẩm AI thất bại. Nghiên cứu do Eugene Yan tổng hợp chỉ ra rằng các chỉ số truyền thống như ROUGE qua phân tích 2.000 nghiên cứu đã bộc lộ sự thiếu tin cậy nghiêm trọng, rất khó tái lập và hầu như không có tương quan với đánh giá của con người về độ mượt mà hay tính sáng tạo. Trong khi đó, các bộ benchmark tổng quát như MMLU lại không phản ánh đúng tác vụ riêng biệt của doanh nghiệp và cực kỳ nhạy cảm với cách cài đặt prompt.

Để xây dựng một bộ kiểm thử chuẩn production, bạn cần triển khai phương pháp LLM-as-a-Judge dựa trên thang điểm cộng (Additive Score từ 0–5 hoặc 0–3) theo hướng dẫn của Philipp Schmid và nghiên cứu G-EVAL. Thay vì yêu cầu mô hình đưa ra điểm số cảm tính, bạn phải định nghĩa rõ ràng các tiêu chí cộng điểm (Context, Completeness, Conciseness). Bạn bắt buộc phải cấu hình các bước suy luận Chain-of-Thought (CoT) để mô hình giải thích lý do trước khi cho điểm, đồng thời bổ sung các ví dụ Few-Shot chuẩn hóa. Theo quy trình G-EVAL, để tính điểm số cuối cùng một cách chính xác và mượt mà, hệ thống sẽ trích xuất xác suất của các token đầu ra (output token probabilities) từ LLM Judge để thực hiện tính tổng có trọng số (weighted summation of token probabilities), giúp chuẩn hóa điểm số thay vì chỉ lấy một số nguyên đơn lẻ.

Khi sử dụng LLM làm giám khảo, hệ thống của bạn sẽ đối mặt với 3 thiên vị (bias) hệ thống nghiêm trọng cần phải xử lý bằng thuật toán:

- **Thiên vị vị trí (Position bias):** Mô hình có xu hướng ưu ái đáp án đứng ở vị trí đầu tiên. Cách khắc phục là tráo đổi vị trí hai câu trả lời và chạy đánh giá hai lần; nếu kết quả không đồng nhất, hệ thống ghi nhận là kết quả hòa.
- **Thiên vị độ dài (Verbosity bias):** Mô hình thường chấm điểm cao hơn cho các câu trả lời dài dòng dù câu trả lời ngắn gọn súc tích hơn. Bạn cần chuẩn hóa độ dài của các câu trả lời trước khi đưa vào so sánh.
- **Thiên vị tự tôn (Self-enhancement bias):** Các mô hình có xu hướng chấm điểm cao hơn cho chính các câu trả lời do kiến trúc của nó sinh ra. Giải pháp là tuyệt đối không dùng cùng một họ mô hình để tự chấm điểm đầu ra của nó.

Vận hành hạ tầng kiểm thử đòi hỏi tư duy Phát triển Hướng Đánh giá (Eval-Driven Development - EDD). Bạn cần viết bộ mã chạy kiểm thử tự động sử dụng các thư viện bất đồng bộ như `AsyncOpenAI` kết hợp với cơ chế `Semaphore` để kiểm soát số lượng luồng thực thi song song. Mỗi khi có sự thay đổi về prompt, thay đổi mô hình nền hoặc cập nhật dữ liệu RAG, toàn bộ tập dữ liệu kiểm thử (dữ liệu tổng hợp hoặc dữ liệu thực tế từ production) sẽ được quét tự động. Việc này giúp bạn phát hiện tức thì hiện tượng suy giảm hiệu năng hệ thống (regression) và đo lường sự cải thiện bằng số liệu cụ thể thay vì dựa vào cảm tính.

## Dự án 5: Tinh chỉnh mô hình nhỏ chuyên biệt (SLM Fine-tuning) và tối ưu suy luận

![Quy trình tinh chỉnh mô hình nhỏ chuyên biệt và suy luận tối ưu với vLLM](https://camnangai.com/articles/du-an-thuc-chien-llm-engineering-2027/06-vn.webp)

Việc làm chủ kỹ thuật tinh chỉnh mô hình ngôn ngữ nhỏ (SLM Fine-tuning) mang lại lợi thế chiến lược lớn cho các kỹ sư AI. Các mô hình kích thước vừa và nhỏ như Flan-T5, Llama 7B hay Falcon 7B sau khi được fine-tuning chuyên sâu có thể thay thế hoàn toàn các mô hình thương mại đắt đỏ trong các tác vụ hẹp. Chiến lược này giúp doanh nghiệp hoàn toàn kiểm soát dữ liệu riêng tư, loại bỏ phụ thuộc vào API bên ngoài, chủ động mở rộng quy mô thông lượng, và loại bỏ hiện tượng "phí điều chỉnh" (alignment tax) — hiện tượng mô hình lớn bị giảm hiệu năng trên các tác vụ hẹp do phải gánh quá nhiều tiêu chuẩn an toàn tổng quát.

Về mặt kỹ thuật huấn luyện, phương pháp QLoRA (Quantized Low-Rank Adaptation) là tiêu chuẩn vàng hiện nay. QLoRA kết hợp kỹ thuật phân rã ma trận hạng thấp (LoRA) với mô hình gốc được lượng hóa ở định dạng 4-bit NormalFloat (NF4). Phương pháp này áp dụng kỹ thuật Lượng hóa đôi (Double Quantization) để tiếp tục nén bộ nhớ và Bộ tối ưu hóa phân trang (Paged Optimizers) để xử lý hiện tượng tràn bộ nhớ GPU (OOM) bằng cách chuyển dữ liệu sang RAM CPU. Nhờ đó, QLoRA giúp giảm dung lượng RAM GPU cần thiết để tinh chỉnh mô hình 65B từ >780GB xuống dưới 48GB mà không làm suy giảm độ chính xác so với fine-tuning 16-bit truyền thống.

Quy trình chuẩn bị dữ liệu huấn luyện đòi hỏi sự kết hợp từ nhiều nguồn: từ việc gán nhãn chuyên gia, thu thập dữ liệu phản hồi người dùng thực tế, đến việc trích xuất kiến thức (knowledge distillation) từ các mô hình lớn hơn như Falcon 40B. Tuy nhiên, bạn phải đặc biệt lưu ý đến các rào cản pháp lý và điều khoản dịch vụ. Điều khoản của OpenAI (Section 2c-iii) cấm sử dụng đầu ra API để huấn luyện các mô hình cạnh tranh với họ, và Giấy phép Cộng đồng của LLaMA 2 (Section 1b-v) cũng quy định các ràng buộc tương tự đối với việc dùng đầu ra của LLaMA để cải thiện các mô hình ngôn ngữ khác.

Khi triển khai mô hình tự host lên môi trường production, bạn không thể chỉ đo lường độ chính xác mà phải quản lý chặt chẽ các số liệu đo lường suy luận hệ thống:

- **Thời gian tới Token Đầu tiên (TTFT - Time to First Token):** Thời gian phản hồi ban đầu của hệ thống từ khi nhận truy vấn đến khi token đầu tiên được sinh ra.
- **Thời gian giữa các Token (TBT - Time Between Tokens):** Độ trễ trung bình giữa việc tạo ra các token tiếp theo, quyết định độ mượt mà khi stream kết quả.
- **Số Token mỗi Giây (TPS - Tokens Per Second):** Thông lượng xử lý tổng thể của mô hình trên hạ tầng phần cứng.
- **Tổng độ trễ (Total Latency):** Tổng thời gian hoàn thành toàn bộ câu phản hồi.

## Những tiêu chuẩn kỹ thuật biến dự án cá nhân thành tín hiệu tuyển dụng đắt giá

Để biến một dự án AI cá nhân thành một hồ sơ năng lực (portfolio) có giá trị tuyển dụng cao năm 2027, hệ thống của bạn phải được tích hợp hạ tầng Khả năng quan sát (Observability) dựa trên 3 trụ cột cốt lõi:

- **Metrics:** Theo dõi song song chỉ số hệ thống (thông lượng, bộ nhớ GPU, tỷ lệ uptime) và chỉ số mô hình (tỷ lệ hallucination, độ dài câu trả lời, tỷ lệ phản hồi rỗng).
- **Logs:** Ghi lại toàn bộ cấu hình hệ thống, truy vấn đầu vào, các bước trung gian và nhật ký lỗi kèm theo mã định danh (trace ID) để truy vết.
- **Traces:** Sử dụng các công cụ như LangSmith để ghi lại toàn bộ lộ trình thực thi của một request qua từng thành phần — từ truy xuất dữ liệu, định tuyến gateway, đến các luồng rẽ nhánh của agent — giúp định vị chính xác vị trí phát sinh lỗi.

Bên cạnh hạ tầng backend, bạn phải thể hiện tư duy Thiết kế Trải nghiệm Phòng vệ (Defensive UX) đứng từ góc độ kỹ thuật hạ tầng dữ liệu. Bạn cần chủ động quản lý sai sót bằng cách đặt kỳ vọng thực tế thông qua disclaimers minh bạch trên UI, cung cấp nguồn trích dẫn dữ liệu (attribution/citations) để tạo cơ sở xác minh cho thông tin, đồng thời thiết kế cơ chế loại bỏ nhanh (efficient dismissal) để các gợi ý không phù hợp không làm đứt gãy luồng làm việc của người dùng.

Hệ thống của bạn phải xây dựng được Vòng phản hồi dữ liệu (Data Flywheel) khép kín dưới dạng một đường ống dữ liệu (data pipeline) tự động. Bạn cần ghi nhận các tín hiệu phản hồi chủ động (nút thumbs up/down, chọn tạo lại câu trả lời) và tín hiệu phản hồi ẩn (hành vi sao chép kết quả, sửa đổi đoạn mã do AI sinh ra, thời lượng phiên làm việc) thành các vector dữ liệu. Các dữ liệu này được tự động trích xuất để liên tục cập nhật và mở rộng tập dữ liệu kiểm thử (eval harness) cũng như tập dữ liệu fine-tuning cho các thế hệ mô hình tiếp theo.

Cuối cùng, một AI Engineer cấp cao phải thể hiện được khả năng phân tích và chấp nhận các đánh đổi kỹ thuật (Engineering Trade-offs). Bạn phải giải thích rõ lý do chọn kiến trúc: Đánh đổi giữa Độ tin cậy và Độ trễ (Reliability vs Latency), giữa Chi phí tính toán và Hiệu năng mô hình, và đặc biệt là quyết định giữa việc tự viết mã nguồn tối ưu (custom system) hay dùng các framework trừu tượng hóa như LangChain/LlamaIndex. Việc hiểu rõ rủi ro của các lớp trừu tượng hóa — vốn dễ làm ẩn đi bản chất truy vấn, tự ý phát sinh API call ngầm và gây khó khăn khi debug — là bằng chứng cho thấy bạn đã sẵn sàng làm việc trong môi trường production thực tế.

## Bắt đầu từ đâu: Lộ trình 3 tháng đưa dự án từ ý tưởng lên production

- **Tháng 1: Nền tảng Dữ liệu & Đánh giá (Dự án 1 & Dự án 4)**
  - Xây dựng đường ống Production RAG kết hợp tìm kiếm lai (BM25 + Vector Search với FAISS/ScaNN) và thuật toán reranking hai giai đoạn.
  - Tích hợp cơ chế Viết lại Truy vấn (Query Rewriting), xử lý dữ liệu bảng (Text-to-SQL) và thiết lập cơ chế từ chối khi dữ liệu truy xuất không đạt ngưỡng liên quan.
  - Xây dựng bộ kiểm thử tự động (Eval Harness) áp dụng phương pháp Additive Score, Chain-of-Thought và Few-Shot Examples với LLM-as-a-Judge.
  - Triển khai mã kiểm thử bất đồng bộ để chạy test hồi quy tự động, loại bỏ các thiên vị vị trí, độ dài và tự tôn của mô hình giám khảo.

- **Tháng 2: Hạ tầng Gateway & Tối ưu hóa Mô hình (Dự án 3 & Dự án 5)**
  - Triển khai AI Gateway làm lớp trung gian quản lý access control, rate-limiting, logging và cơ chế fallback tự động.
  - Xây dựng bộ định tuyến mô hình theo chi phí (Cost-based Router) để phân luồng truy vấn giữa mô hình nhỏ (Claude Haiku) và mô hình lớn (Claude Sonnet).
  - Thiết lập các tầng lưu trữ đệm: Prompt Cache, Exact Cache (Redis/PostgreSQL) và Semantic Cache (có kiểm soát ngưỡng tương đồng).
  - Tiến hành fine-tuning một mô hình ngôn ngữ nhỏ (SLM như Llama 7B hoặc Flan-T5) bằng kỹ thuật QLoRA 4-bit cho một tác vụ chuyên biệt.
  - Đo lường và tối ưu hóa các chỉ số suy luận production: TTFT, TBT, TPS và Total Latency.

- **Tháng 3: Hệ thống Agentic Phức tạp & Hoàn thiện Production (Dự án 2 & Observability)**
  - Triển khai hệ thống Multi-Agent có trạng thái theo các mô hình Orchestrator-Workers và Evaluator-Optimizer.
  - Tích hợp hệ thống Guardrails đa lớp cho cả đầu vào (PII masking, anti-jailbreak) và đầu ra (quét độc hại, factuality, brand risk).
  - Cấu hình điểm kiểm soát can thiệp của con người (Human-in-the-Loop) cho các thao tác ghi rủi ro cao và tối ưu hóa giao diện ACI (dùng docstring chuẩn, đường dẫn tuyệt đối).
  - Tích hợp hạ tầng Observability đầy đủ 3 trụ cột (Metrics, Logs, Traces với LangSmith).
  - Hoàn thiện giao diện người dùng theo chuẩn Defensive UX và xây dựng đường ống thu thập phản hồi tự động (Data Flywheel).

## Tài liệu tham khảo

- [Build These 5 Projects to Master LLM Engineering in 2027 — Javarevisited](https://javarevisited.substack.com/p/stop-watching-ai-tutorials-build)
- [Patterns for Building LLM-based Systems & Products — Eugene Yan](https://eugeneyan.com/writing/llm-patterns/)
- [Your AI Product Needs Evals — Hamel Husain](https://hamel.dev/blog/posts/evals/)
- [Building Effective Agents — Anthropic Research](https://www.anthropic.com/research/building-effective-agents)
- [Building A Generative AI Platform — Chip Huyen](https://huyenchip.com/2024/07/25/genai-platform.html)
- [LLM Evaluation doesn't need to be complicated — Philipp Schmid](https://www.philschmid.de/llm-evaluation)
- [Projects That Actually Land AI Jobs — Landed AI (GitHub)](https://github.com/landedjobs/projects-to-land-an-ai-job)
