Bộ nhớ AI agent là gì? Cách agent ghi nhớ qua nhiều phiên

Bộ nhớ AI agent là lớp hạ tầng kỹ thuật giúp chuyển đổi các mô hình ngôn ngữ lớn (LLM) vốn có bản chất không trạng thái (stateless) thành các hệ thống có trạng thái.

Thay vì xử lý mỗi yêu cầu (request) độc lập và rời rạc, hệ thống bộ nhớ AI agent cho phép agent duy trì, tích lũy và truy xuất ngữ cảnh qua nhiều phiên làm việc. Nói cho gọn, đây là một kho lưu trữ có khả năng truy vấn (queryable persistent storage), giữ lại lịch sử tương tác, kiến thức chuyên biệt và sở thích của người dùng để agent trả lời sát hơn.

Có tầng bộ nhớ thì bạn mới xử lý được tận gốc chứng "mất trí nhớ" của LLM sau mỗi lần đóng phiên (session). Trong các hệ thống agentic phức tạp, hạ tầng bộ nhớ đảm nhiệm việc thu nạp và kết nối các nguồn dữ liệu bên ngoài thông qua cơ sở dữ liệu vector hoặc đồ thị, để agent vừa nhận diện được định danh người dùng, vừa giữ được tiến độ của những workflow kéo dài nhiều ngày hoặc nhiều tuần mà không cần nạp lại toàn bộ dữ liệu thô.

Ở góc độ hệ thống, bộ nhớ vừa là nơi lưu trữ vừa là bộ lọc để tối ưu hóa "ngân sách chú ý" (attention budget) của mô hình. Bằng cách chỉ cung cấp những thông tin thực sự liên quan đến tác vụ hiện tại, hệ thống bộ nhớ giảm tải đáng kể cho cửa sổ ngữ cảnh, nhờ đó cải thiện độ chính xác và giảm độ trễ xử lý.

Đây là thành phần then chốt để đưa AI từ một chatbot đơn thuần trở thành một cộng tác viên dài hạn trong môi trường doanh nghiệp.

Minh hoạ bộ nhớ của AI agent: kiến thức được giữ lại và mang sang các phiên làm việc sau, thay vì mất đi sau mỗi lần trò chuyện

Vì sao LLM quên sạch sau mỗi phiên?

Các mô hình ngôn ngữ lớn (Large Language Model) hiện nay chạy hoàn toàn "stateless", nghĩa là mỗi khi bạn gửi một prompt qua API, mô hình tính toán dựa trên các trọng số cố định mà không giữ lại bất kỳ ký ức nào về những lần tương tác trước đó. Nếu không có hạ tầng lưu trữ bền vững cho dữ liệu, mỗi yêu cầu mới đối với LLM giống như một lần bắt đầu lại từ con số không, và bạn trả tiền tính toán để lặp lại đúng những chỉ dẫn đã đưa từ hôm qua.

Mỗi lần gọi mô hình là một sự kiện độc lập: trạng thái của phiên bị xoá ngay sau khi câu trả lời được trả về

Nhiều kỹ sư cố chữa bằng cách tăng kích thước cửa sổ ngữ cảnh (context window) lên hàng triệu token. Tuy nhiên, kiến trúc Transformer có chi phí tính toán KV cache tăng theo hàm bậc hai (quadratic scaling) đối với chiều dài chuỗi, nên việc nạp lại toàn bộ lịch sử hội thoại sẽ tạo ra nút thắt cả về độ trễ lẫn chi phí. Chưa hết, khi context window quá lớn, mô hình thường dính hiện tượng "context rot" (thối rữa ngữ cảnh), làm giảm khả năng chú ý vào các thông tin quan trọng nằm ở giữa chuỗi dữ liệu (lỗi chú ý).

Nói thẳng ra, tăng context window là hoãn nợ chứ không phải trả nợ. Khi dữ liệu bị loãng, hiệu suất truy xuất thông tin của mô hình giảm sút nghiêm trọng, kéo theo những câu trả lời sai lệch hoặc thiếu chính xác. Một hệ thống bộ nhớ thực thụ quản lý trạng thái theo hướng ngược lại, tức là chọn lọc thông tin đáng đưa vào context, thay vì nhồi nhét mọi thứ vào bộ nhớ đệm của mô hình rồi hy vọng mô hình tự tìm ra thứ nó cần.

Bộ nhớ ngắn hạn và bộ nhớ dài hạn khác nhau ở đâu?

Chia tầng bộ nhớ AI agent không phải chuyện vẽ cho kiến trúc đẹp ra, mà là cách duy nhất để cân bằng giữa tốc độ truy xuất và khả năng lưu trữ bền vững.

So sánh bộ nhớ ngắn hạn gói gọn trong một phiên với bộ nhớ dài hạn tồn tại xuyên suốt nhiều phiên làm việc

Bộ nhớ ngắn hạn (Short-term/Working memory): Đây là lớp lưu trữ ngữ cảnh tức thời trong một thread (phiên làm việc). Nó hoạt động như RAM, duy trì trạng thái hội thoại gần nhất để agent hiểu được dòng chảy của nhiệm vụ hiện tại. Về mặt kỹ thuật, bộ nhớ ngắn hạn thường được lưu bền vững qua các cơ chế checkpoint hoặc nằm ngay trong RAM (in-memory) như Redis để đạt tốc độ truy xuất micro giây. Khi phiên làm việc kết thúc, dữ liệu này thường được phân trang hoặc tóm tắt lại để giải phóng tài nguyên.

Bộ nhớ dài hạn (Long-term memory): Đây là kho lưu trữ tồn tại xuyên suốt nhiều phiên và không mất đi khi hệ thống khởi động lại. Lớp này dựa trên cơ sở dữ liệu vector (Vector Database) hoặc đồ thị (Graph Database) cùng kỹ thuật tìm kiếm ngữ nghĩa, nhờ đó agent học hỏi được từ các tương tác trong quá khứ và tích lũy tri thức chuyên môn theo thời gian.

Đặc tính	Bộ nhớ ngắn hạn (Short-term)	Bộ nhớ dài hạn (Long-term)
Phạm vi (Scope)	Trong một phiên (Thread-scoped)	Xuyên suốt các phiên (Cross-session)
Thời gian tồn tại	Theo phiên làm việc	Vĩnh viễn (Persistent)
Hạ tầng	In-memory (Redis, Checkpointer)	Vector DB, Neo4j, File system
Mục đích sử dụng	Duy trì ngữ cảnh hội thoại tức thì	Cá nhân hóa, tích lũy tri thức bền vững

Ba loại bộ nhớ dài hạn: sự kiện, trải nghiệm, quy trình

Cách phân loại bộ nhớ theo lối con người tổ chức thông tin nghe khá hàn lâm, nhưng nó quyết định rất thực tế: mỗi loại đòi một kiểu lưu trữ và một kiểu truy vấn khác nhau.

Ba loại bộ nhớ dài hạn đặt cạnh nhau: bộ nhớ ngữ nghĩa lưu sự kiện, bộ nhớ tình tiết lưu trải nghiệm, bộ nhớ quy trình lưu cách làm

Bộ nhớ ngữ nghĩa (Semantic Memory): Lưu trữ các sự thật và kiến thức độc lập với ngữ cảnh cụ thể, như thông số sản phẩm hoặc hồ sơ khách hàng. Để đảm bảo tính toàn vẹn của dữ liệu này, bạn nên áp dụng kỹ thuật "strict decoding" khi yêu cầu LLM trích xuất thông tin dưới dạng JSON, giúp schema luôn hợp lệ và dễ dàng tích hợp vào database.

Bộ nhớ tình tiết (Episodic Memory): Lưu trữ các trải nghiệm cụ thể theo trình tự thời gian, giống như nhật ký hội thoại. Nó cho phép agent nhớ lại rằng "tuần trước bạn đã yêu cầu chỉnh sửa module A". Về kỹ thuật, bộ nhớ này thường kết hợp giữa Vector DB cho tìm kiếm ngữ nghĩa và nhật ký sự kiện (event log) để duy trì tính xác thực của dữ liệu thô.

Bộ nhớ quy trình (Procedural Memory): Lưu trữ các quy tắc và cách thức thực hiện nhiệm vụ, thường nằm trong system prompt hoặc các workflow database. Việc sử dụng bộ nhớ đồ thị (graph memory, như biến thể Mem0g chạy trên nền Neo4j) giúp agent hiểu được các mối quan hệ thực thể phức tạp, và trong bài đánh giá của chính nhóm Mem0, biến thể đồ thị này đạt điểm tổng cao hơn bản gốc khoảng 2%. Con số đó không lớn, nên trước khi kéo cả một Neo4j vào stack, bạn hãy chắc rằng dữ liệu của mình thật sự có quan hệ thực thể để khai thác.

Agent lưu và tìm lại ký ức bằng cách nào?

Một hệ thống bộ nhớ AI agent hiện đại thường vận hành qua bốn giai đoạn, và giai đoạn nào cũng có chỗ để hỏng. Ở bước encoding, hệ thống chuyển đổi dữ liệu thô thành các vector embedding bằng các mô hình Transformer, giúp máy tính so sánh sự tương đồng về mặt ý nghĩa thay vì chỉ so khớp từ khóa đơn thuần. Sang bước storage, các vector được lưu trong database với những cấu trúc chỉ mục (index) chuyên dụng: index HNSW (Hierarchical Navigable Small World) thường được ưu tiên khi bạn cần độ chính xác cao dù tốn RAM, trong khi IVF (Inverted File Index) phù hợp hơn để tiết kiệm bộ nhớ ở quy mô rất lớn.

Bốn giai đoạn của một ký ức: mã hoá thành vector, lưu vào kho, truy xuất theo độ tương đồng, rồi đưa trở lại ngữ cảnh của mô hình

Ở bước retrieval, khi có truy vấn, hệ thống dùng thuật toán k-NN (k-nearest neighbors) hoặc hybrid search để tìm ra các ký ức liên quan nhất. Cuối cùng, ở bước integration, các ký ức lấy ra sẽ được định dạng và đưa vào prompt để bổ trợ ngữ cảnh cho LLM. Đây là bước tinh tế nhất, vì nếu nhồi quá tay thì chính đống ký ức đó lại làm loãng câu trả lời mà agent đang phải đưa ra.

Bên cạnh cơ sở dữ liệu vector, agent còn có thể dùng bộ nhớ dạng tệp: mô hình thao tác trên một thư mục /memories, tự tạo, đọc, sửa và xóa các tệp trong đó. Đây là cách lưu những dữ kiện cần truy xuất chính xác từng chữ, thay vì tìm theo độ tương đồng ngữ nghĩa. Đổi lại, kiến trúc này đòi hỏi ràng buộc an toàn chặt: giới hạn dung lượng tệp, chặn path traversal ra ngoài thư mục bộ nhớ, và xóa định kỳ những tệp lâu không được đọc tới. Bạn đang giao cho mô hình một cây thư mục có quyền ghi, nên mấy ràng buộc đó không phải phần tùy chọn.

Về mặt lựa chọn nền tảng, bạn có hai hướng: Mem0 là một lớp bộ nhớ có thể cắm (pluggable layer) vào bất kỳ stack nào, còn Letta là một môi trường chạy (runtime) quản lý bộ nhớ như hệ điều hành. Khác biệt thật sự nằm ở chỗ ai quyết định ghi nhớ, vì Mem0 trích xuất thụ động ở tầng hạ tầng, còn Letta để chính agent tự biên tập bộ nhớ của nó trong lúc suy luận.

Giữ lại gì, tóm tắt gì và bỏ đi gì?

Quá trình quản lý ngữ cảnh (context engineering) đòi hỏi các thao tác sàng lọc thông tin khắt khe để duy trì hiệu suất. Ở bước trích xuất (extraction), thay vì lưu nhật ký hội thoại thô, hệ thống dùng LLM để lọc lấy các thông tin có giá trị thực như sở thích hay ngân sách, tách chúng khỏi phần hội thoại xã giao không mang thông tin.

Bốn thao tác sàng lọc một ký ức mới: thêm mới, cập nhật đè lên giá trị cũ, xoá, hoặc bỏ qua khi trùng lặp

Bước hợp nhất (consolidation) sử dụng bốn thao tác ADD, UPDATE, DELETE và NOOP. Nếu người dùng nói "tôi rất thích pizza" trong khi bộ nhớ đã có sẵn "tôi thích pizza", hệ thống thực hiện NOOP để tránh trùng lặp. Nếu thông tin mới là "tôi không còn thích pizza nữa", hệ thống sẽ UPDATE để ghi đè sở thích cũ. Cùng logic đó áp dụng cho các dữ kiện có thay đổi theo thời gian, chẳng hạn khi ngân sách một dự án được nâng từ 500 lên 750 đô la, và bản ghi mới phải thắng bản ghi cũ.

Bước nén (compaction) xử lý trường hợp khác: khi thread chạm ngưỡng giới hạn của cửa sổ ngữ cảnh, hệ thống tự động tóm tắt các đoạn hội thoại cũ, giữ lại các quyết định kiến trúc quan trọng, các lỗi chưa xử lý xong và mục tiêu đang theo đuổi, đồng thời loại bỏ nhật ký gọi công cụ (tool log) thừa thãi. Song song đó là một tiến trình bảo trì nền, đôi khi được gọi là "dreaming", chạy bất đồng bộ để gộp các ghi chú ngắn hạn thành ký ức dài hạn, loại bỏ bản trùng và dọn những ký ức đã cũ.

Cả tầng hợp nhất này đứng hay sụp là ở mấy cái prompt consolidation, và theo tôi đó là phần bị xem nhẹ nhất khi người ta dựng bộ nhớ cho agent. Ranh giới giữa "thông tin bổ sung" và "thông tin thay thế hoàn toàn" nghe hiển nhiên với con người, nhưng với một LLM đang đọc hai câu rời nhau thì nó không hiển nhiên chút nào. Viết cẩu thả ở bước này, bạn sẽ có một bộ nhớ vừa mâu thuẫn vừa cũ, mà không hệ thống giám sát nào báo cho bạn biết, bởi vì về mặt kỹ thuật thì chẳng có gì hỏng cả.

Bộ nhớ agent hỏng như thế nào trong thực tế?

Đưa bộ nhớ AI agent lên môi trường sản xuất mới là lúc các lỗi lộ ra, và chúng gần như không bao giờ nổ thành một cái crash để bạn kịp nhìn thấy. Nặng nhất là xung đột thông tin, khi dữ liệu mới mâu thuẫn với ký ức cũ, vẫn là ví dụ ngân sách dự án đổi từ 500 lên 750 đô la. Nếu logic consolidation không tốt, agent sẽ lẫn giữa hai con số, và lỗi này đặc biệt khó bắt vì cả hai giá trị đều từng đúng.

Ba kiểu hỏng của bộ nhớ agent: thông tin mâu thuẫn, ký ức nhiễu không liên quan, và độ trễ khi xử lý đồng bộ

Lỗi thứ hai là trích xuất sai ngữ cảnh. Agent có thể lưu cả những mẩu tin rác hoặc câu xã giao không giá trị, làm nhiễu bộ nhớ dài hạn. Điều này trực tiếp gây ra lỗi chú ý: khi truy xuất trả về những ký ức tương đồng về mặt ngữ nghĩa nhưng không liên quan đến việc đang làm, mô hình bị phân tán và phản hồi lan man. Đây là lý do các hệ thống nghiêm túc không dừng ở tìm kiếm vector thuần mà bổ sung thêm lớp lọc hoặc xếp hạng lại (rerank).

Lỗi thứ ba là độ trễ hệ thống, và đây lại là lỗi dễ tránh nhất trong ba lỗi. Quá trình trích xuất và hợp nhất khá nặng: với một hội thoại thông thường, hai bước này mất khoảng 20 đến 40 giây kể từ lúc được kích hoạt, trong khi một lượt tìm kiếm ngữ nghĩa chỉ tốn cỡ 200 mili giây. Nếu bạn đặt phần nặng đó ngay trong vòng phản hồi, người dùng sẽ ngồi chờ. Đó là lý do phần trích xuất và hợp nhất luôn được đẩy sang pipeline bất đồng bộ, còn vòng phản hồi chỉ đọc bộ nhớ đã dựng sẵn.

Khi nào bạn thực sự cần một hệ thống bộ nhớ?

Bạn chỉ nên đầu tư xây dựng hạ tầng bộ nhớ khi tác vụ yêu cầu duy trì trạng thái qua nhiều ngày, cần cá nhân hóa sâu theo từng người dùng, hoặc khi chi phí token cho context thô bắt đầu vượt quá ngân sách. Con số đáng để cân nhắc: so với cách nhồi toàn bộ lịch sử vào context, kiến trúc bộ nhớ của Mem0 giảm độ trễ p95 khoảng 91%, từ 17,1 giây xuống còn 1,44 giây, và tiết kiệm hơn 90% chi phí token. Nhưng nếu hệ thống của bạn chỉ xử lý các yêu cầu ngắn gọn và độc lập, một cơ chế lưu trữ đơn giản là đủ, và việc dựng thêm một tầng bộ nhớ chỉ làm tăng chi phí vận hành mà không đổi lại được gì.

Khi đã quyết định làm, hãy cân nhắc kỹ giữa kiến trúc in-memory và lưu trên đĩa (disk-based). Bộ nhớ in-memory như Redis mang lại tốc độ rất nhanh cho các tương tác đòi hỏi phản hồi tức thì, nhưng chi phí trên mỗi GB cao hơn; lưu trữ trên đĩa tiết kiệm hơn cho các kho dữ liệu lớn nhưng phải đánh đổi bằng độ trễ khi truy vấn vector. Ranh giới thật sự không nằm ở việc bạn có bao nhiêu dữ liệu, mà ở việc agent có cần nhớ gì sau khi phiên làm việc kết thúc hay không.