Karpathy gọi đây là LLM wiki, và điểm dễ gây hiểu nhầm nhất là nó không phải một phần mềm bạn cài đặt. Nó là một quy trình. Cách hình dung sát nhất dưới góc độ kỹ thuật: Obsidian đóng vai trò IDE, kho ghi chú Markdown của bạn là codebase, và mô hình ngôn ngữ lớn (LLM) chính là lập trình viên duy trì codebase đó. Toàn bộ hệ thống nhắm vào một bài toán cụ thể: các công cụ AI hiện nay liên tục "quên" ngữ cảnh và lãng phí token vì phải đọc lại dữ liệu thô từ đầu trong mỗi phiên.
Triết lý cốt lõi của LLM wiki nằm ở một dịch chuyển: từ "truy xuất" (retrieval) sang "biên dịch" (compilation). Với RAG truyền thống, AI tìm kiếm mù trong các mảnh dữ liệu thô (chunks) mỗi khi có câu hỏi. Với LLM wiki, kiến thức được AI đọc, trích xuất thực thể và tích hợp vào cấu trúc Markdown một lần duy nhất. Khi có nguồn mới, AI không chỉ lưu lại mà còn cập nhật các liên kết chéo và bản tóm tắt sẵn có.
Kết quả là một "vật phẩm bồi đắp" (compounding artifact). Càng nạp nhiều nguồn, mật độ liên kết giữa các trang thực thể càng dày, và AI càng suy luận sắc bén hơn trên chính dữ liệu riêng của bạn. Claude Code lo phần logic đọc–ghi tệp, còn Obsidian dựng giao diện đồ thị để bạn dễ giám sát và kiểm chứng.
LLM wiki là gì? Ý tưởng "ngừng truy xuất, bắt đầu biên dịch"
Karpathy xuất phát từ một quan sát: các hệ thống AI hiện nay tiêu tốn tài nguyên vì phải "tái khám phá" kiến thức từ đầu trong mỗi phiên. LLM wiki ra đời để biến tri thức thành một thực thể có tính kế thừa. Thay vì "retrieval" (truy xuất đoạn trích), bạn làm "compilation" (biên dịch): AI đọc tài liệu thô rồi viết lại thành các trang thực thể (entities) và chủ đề (topics) riêng biệt, nối với nhau bằng [[wikilinks]].
Trong mô hình này, tri thức không nằm dưới dạng các vector mờ trong một cơ sở dữ liệu, mà là những tệp Markdown có cấu trúc rõ ràng. Khi bạn nạp một transcript video mới, AI đóng vai biên tập viên: nó quét kho wiki hiện có, cập nhật các trang liên quan và tạo liên kết ngược (backlinks). Cái bạn nhận lại là một mạng lưới tri thức mà AI đọc toàn cảnh trong vài giây, thay vì dò lại từng đoạn rời rạc.
Tính "compounding" mới là điểm mấu chốt: giống một codebase lớn dần theo thời gian, giá trị của wiki nằm ở mật độ liên kết, không phải số lượng tệp.
Cấu trúc này cho phép AI thực hiện những suy luận bắc cầu phức tạp — thứ RAG thường bỏ lỡ vì giới hạn của tìm kiếm tương đồng vector. Mỗi tài liệu mới nạp vào đều làm dày thêm giá trị của toàn bộ kho cũ, chứ không chỉ thêm một mục biệt lập.
LLM wiki khác RAG ở điểm nào?
Khác biệt lớn nhất là tính xác định (determinism). RAG dựa trên tìm kiếm tương đồng vector — vốn mang tính xác suất và dễ hỏng khi quá trình cắt nhỏ tài liệu (chunking) làm đứt ngữ cảnh. LLM wiki đưa toàn bộ tri thức đã cô đọng vào cửa sổ ngữ cảnh (context window), để mô hình đọc thẳng các bản tóm tắt đã tối ưu thay vì phải lọc qua dữ liệu nhiễu.
Con số tiết kiệm 95% token không phải phép màu. Đó là mức tiết kiệm so với "naive document loading" — nhồi nguyên PDF thô vào ngữ cảnh. Ví dụ, thay vì nạp 100 trang tài liệu thô (khoảng 50.000 token) cho mỗi câu hỏi, AI chỉ cần đọc index.md và vài trang thực thể liên quan đã biên dịch (khoảng 2.500 token) là đủ trả lời chính xác.
Bảng dưới đây tóm tắt các tiêu chí kỹ thuật giữa hai hướng tiếp cận:
| Tiêu chí | RAG truyền thống | LLM wiki |
|---|---|---|
| Phương pháp | Truy xuất mảnh vụn (vector search) | Biên dịch tri thức (cấu trúc Markdown) |
| Độ phức tạp | Cao (cần Vector DB, pipeline nhúng) | Thấp (hệ thống tệp, Markdown phẳng) |
| Độ chính xác | Xác suất (dễ mất ngữ cảnh) | Xác định (giữ nguyên cấu trúc logic) |
| Chi phí token | Biến thiên (phụ thuộc số chunks) | Thấp (thông tin đã cô đọng) |
| Trích dẫn nguồn | Tự động (native attribution) | Thủ công hơn (AI tự gắn link) |
Kiến trúc ba lớp: raw, wiki và schema
Để vận hành có kỷ luật, bạn tách dữ liệu thành ba lớp chức năng. Sự tách biệt này giữ nguyên vẹn dữ liệu gốc trong khi vẫn cho AI đủ tự do để tổ chức lại tri thức.
- Raw sources (nguồn thô). Chứa dữ liệu bất biến: PDF, bài báo, transcript YouTube. Đây là "nguồn sự thật" (source of truth) mà AI được đọc nhưng không bao giờ sửa. Thư mục này thường để phẳng, giúp AI liệt kê và truy cập nhanh bằng lệnh shell.
- The wiki (kho biên dịch). Chứa các tệp Markdown do AI tạo ra:
index.md(đóng vai router điều hướng),log.md(nhật ký vận hành), và các trang thực thể. Đây là lớp tri thức đã qua xử lý và liên tục được bồi đắp. - The schema (quy tắc hệ thống). Thường là tệp
CLAUDE.mdhoặcAGENTS.md. Tệp này định nghĩa vai trò của AI là "wiki maintainer", quy định cách đặt tên tệp, cấu trúc YAML frontmatter và các quy tắc cập nhật liên kết. Chính lớp này ngăn AI hành xử như một chatbot chung chung và ép nó tuân thủ quy trình lưu trữ chặt chẽ.
Dòng dữ liệu chảy theo một quy trình xác định: bạn đẩy tài liệu mới vào /raw; AI đọc tệp cấu hình ở lớp Schema để hiểu ràng buộc; rồi AI biên dịch dữ liệu từ Raw, cập nhật các tệp tương ứng trong Wiki, ghi nhật ký vào log.md và cập nhật bản đồ tri thức tại index.md.
Ba thao tác cốt lõi: ingest, query, lint
Vận hành một LLM wiki là một vòng lặp liên tục, trong đó AI làm phần hậu cần nặng nhọc còn bạn đóng vai "tổng biên tập" đưa định hướng và duyệt các thay đổi lớn.
Ingest (nạp dữ liệu). Khi nạp tài liệu mới, AI không dừng ở việc tóm tắt: nó còn cập nhật lan tỏa (cascading updates). Một tài liệu thô có thể khiến AI chỉnh sửa 10–15 trang wiki liên quan để giữ tính nhất quán, đồng thời tự tạo các [[wikilinks]] nối khái niệm mới vào mạng lưới cũ.
Query (truy vấn). Khi bạn đặt câu hỏi, AI không tìm kiếm vector. Nó đọc index.md trước để đóng vai "router", xác định những tệp Markdown nào chứa câu trả lời, rồi chỉ mở đúng các tệp đó. Nhờ vậy hệ thống giữ được độ chính xác cao mà vẫn cực kỳ tiết kiệm token, và mọi câu trả lời đều kèm trích dẫn (citations) trỏ về tệp trong wiki.
Lint (kiểm tra sức khỏe). Đây là "nước sốt bí mật" giúp hệ thống sống lâu. Con người thường bỏ cuộc vì việc duy trì wiki quá tẻ nhạt, khiến kho tri thức tích lũy "rác" (slop). Thao tác Lint định kỳ yêu cầu AI quét toàn bộ kho để phát hiện mâu thuẫn giữa các nguồn, tìm trang mồ côi (orphan pages), hoặc các khái niệm được nhắc tới nhiều lần nhưng chưa có trang riêng.
Một dòng trong log.md thường theo đúng định dạng thời gian để dễ phân tích bằng công cụ dòng lệnh:
## [2026-04-12] ingest | The Bitter Lesson — Rich Sutton
- Tạo mới: [[The Bitter Lesson]], [[Rich Sutton]]
- Cập nhật: [[Reinforcement Learning]], [[Moore's Law]]
- Trạng thái: Đã tích hợp; bổ sung liên kết chéo với [[Software 2.0]].Cách tự xây LLM wiki với Claude Code
Để dựng hệ thống theo đúng pattern của Karpathy, bạn cần Obsidian làm giao diện và Claude Code làm công cụ thực thi logic. Claude Code có lợi thế là tương tác trực tiếp với hệ thống tệp cục bộ (local filesystem) qua terminal, nên nó đọc và ghi các tệp Markdown mà không cần bạn copy-paste thủ công.
Quy trình thiết lập gọn trong vài bước:
- Cài Obsidian và tạo một vault mới (ví dụ
AI_Second_Brain) để làm "IDE" cho kho tri thức. - Bên trong vault, tạo cấu trúc thư mục:
/raw,/raw/assets,/wikivà/templates. - Mở terminal tại thư mục vault và chạy Claude Code:
npx @anthropic-ai/claude-code. - Tạo tệp
CLAUDE.mdở gốc thư mục để cấu hình vai trò và quy tắc cho AI.
Dưới đây là một mẫu CLAUDE.md tối giản để bắt đầu:
# Vai trò: Wiki Maintainer
Bạn là kỹ sư quản lý tri thức cho kho này.
- Thư mục `raw/`: nguồn dữ liệu gốc, KHÔNG được sửa đổi.
- Thư mục `wiki/`: các tệp Markdown đã biên dịch. Ưu tiên cấu trúc phẳng.
- Mỗi tệp phải có YAML frontmatter: title, tags, summary, date.
- Dùng [[wikilinks]] cho mọi thực thể quan trọng.
- Khi `ingest`: luôn cập nhật `index.md` và ghi một dòng vào `log.md`.Sau khi cấu hình, bạn chạy lệnh trực tiếp bằng ngôn ngữ tự nhiên. Ví dụ, để nạp nguồn mới: claude "Ingest toàn bộ file mới trong thư mục raw/, cập nhật backlinks và index". AI sẽ tự đọc, trích xuất và ghi các tệp Markdown trong vài giây, rồi báo lại nó đã tạo và cập nhật những trang nào.
Thực hành tốt để wiki dễ truy vấn
Một wiki hiệu quả phải được tối ưu để AI "đọc lướt". Quy tắc quan trọng nhất là mỗi tệp một chủ đề. Chia tri thức thành các trang thực thể chuyên biệt giúp AI định vị thông tin mà không phải nạp những tệp văn bản khổng lồ, không liên quan vào context window. Một tài liệu gộp 10.000 từ luôn khó truy vấn hơn mười trang tập trung, mỗi trang 1.000 từ.
Đặt YAML frontmatter ở đầu mỗi tệp là bắt buộc. Một dòng tóm tắt (TL;DR) trong frontmatter giúp AI hiểu nhanh nội dung tệp khi nó chạy grep hoặc liệt kê danh sách, từ đó quyết định mở tệp nào chính xác hơn. Việc gắn thẻ (tags) và liên kết ngược nhất quán còn giúp các công cụ như Obsidian Graph View phơi bày rõ những "điểm nóng" tri thức.
Áp dụng thêm mô hình inbox: dùng Obsidian Web Clipper làm "vùng đáp" cho mọi thông tin từ web vào thư mục /inbox, đừng cố sắp xếp ngay. Hãy để AI chạy các đợt "triage" (phân loại) định kỳ, di chuyển dữ liệu từ inbox vào đúng cấu trúc thực thể. Cuối cùng, ưu tiên cấu trúc tệp phẳng thay vì lồng thư mục quá sâu — cấu trúc phẳng cho phép AI liệt kê toàn bộ trang thực thể trong một lần gọi ls, tăng tốc xử lý và giảm token thừa.
Khi nào nên dùng LLM wiki, khi nào dùng RAG?
Lựa chọn kiến trúc là một bài toán đánh đổi giữa quy mô và độ chính xác. Giới hạn context window của các mô hình hiện đại (như Claude 3.5 Sonnet với 200.000 token) là một mục tiêu di động, nhưng các ngưỡng dưới đây vẫn là kim chỉ nam an toàn.
Ưu tiên LLM wiki khi:
- Kho dữ liệu dưới 100 tài liệu, hoặc tổng dung lượng dưới 50.000 token.
- Bạn cần độ chính xác xác định và khả năng suy luận logic trên toàn bộ tập dữ liệu (tài liệu pháp lý, quy trình, chính sách).
- Dữ liệu mang tính tích lũy, ít biến động theo từng giây: ghi chú cá nhân, nghiên cứu, kiến thức nội bộ công ty.
Ưu tiên RAG khi:
- Dữ liệu khổng lồ (hàng triệu token, hàng chục nghìn tài liệu) vượt quá khả năng nạp vào context window.
- Dữ liệu thay đổi theo thời gian thực như tin tức, giá chứng khoán hay dòng tweet.
- Bạn cần tìm kiếm "mù" trên một kho lưu trữ không định hình sẵn.
Mô hình hybrid (lai) hiện là hướng đi của các hệ thống chuyên nghiệp: dùng LLM wiki cho tri thức nền tảng, quy tắc cốt lõi và hướng dẫn vận hành (luôn nằm sẵn trong context), đồng thời để AI gọi RAG như một công cụ mở rộng khi cần truy vấn sâu vào các kho lưu trữ lịch sử khổng lồ. Lời khuyên thực dụng: bắt đầu đơn giản, kiểm chứng pattern wiki với phần tài liệu cốt lõi của bạn trước khi đầu tư vào hạ tầng vector nặng nề.
Tài liệu tham khảo
- llm-wiki · GitHub — Andrej Karpathy
- Karpathy's LLM Wiki: 95% Less Token Use Than RAG — MindStudio
- Andrej Karpathy's LLM Wiki: Create Your Own Knowledge Base — Urvil Joshi
- LLM Wiki vs RAG: A Decision Framework for AI Knowledge Bases — MindStudio
- What Is Andrej Karpathy's LLM Wiki? How to Build a Personal Knowledge Base With Claude Code — MindStudio
- Fable 5 + Karpathy's LLM Wiki is Basically Cheating — YouTube