# LangSmith là gì? Quan sát và đánh giá agent AI của LangChain

> LangSmith là nền tảng quan sát và đánh giá agent AI của LangChain, giúp kỹ sư tối ưu hiệu suất, kiểm soát chi phí và xử lý tính bất định của LLM.

Nguồn: https://camnangai.com/ky-thuat/langsmith-la-gi  
Xuất bản: 2026-08-15

[LangSmith](https://www.langchain.com/langsmith-platform) là nền tảng quản trị vòng đời agent
  (Agent Engineering Platform), tập trung vào ba trụ cột: quan sát (observability), đánh giá
  (evaluation) và triển khai (deployment).

Bạn dùng nó để xử lý tính bất định (non-deterministic) của [mô hình ngôn ngữ
lớn](https://camnangai.com/kien-thuc-ai/llm-la-gi) (Large Language Model, LLM) bằng cách ghi vết và phân tích từng bước
trung gian trong luồng suy luận của hệ thống.

Nền tảng này cho phép bạn nhìn thấu "hộp đen" của [AI agent](https://camnangai.com/kien-thuc-ai/ai-agent-la-gi), từ giai
đoạn thử nghiệm prompt đến khi giám sát vận hành thực tế.


  Thay vì phỏng đoán nguyên nhân agent chạy sai, bạn có dữ liệu cấu trúc về luồng
  [RAG](https://camnangai.com/kien-thuc-ai/rag-la-gi), tool call và logic suy luận để tối ưu hiệu suất lẫn kiểm soát chi
  phí.


![Nhìn xuyên vào hộp đen của một agent AI đang chạy, từng bước suy luận hiện thành dữ liệu quan sát được](https://camnangai.com/articles/langsmith-la-gi/01-infographic-vn.webp)

## LangSmith là gì?

Dưới góc độ kỹ thuật, **LangSmith** là một nền tảng framework-agnostic, tức là không phụ thuộc vào
framework nào. Nó được thiết kế để tích hợp sâu nhất với hệ sinh thái
[LangChain](https://camnangai.com/ky-thuat/langchain-la-gi), nhưng bạn vẫn dùng được cho các hệ thống agent tự viết
thông qua SDK [Python](https://camnangai.com/ky-thuat/python-la-gi), JS/TS hoặc chuẩn OpenTelemetry. Đây là hạ tầng
kiểm soát toàn bộ vòng đời phát triển của một agent, chứ không chỉ là chỗ ghi log.

![Vòng đời phát triển agent trong LangSmith gồm build, test, deploy, monitor và improve, cùng ba trụ cột quan sát, đánh giá và triển khai](https://camnangai.com/articles/langsmith-la-gi/02-vn.webp)

Trong vòng đời đó, LangSmith có mặt ở mọi chặng: Playground để thử prompt và xem kết quả tức thì,
Tracing để ghi vết các luồng chạy phức tạp, Datasets để dựng bộ dữ liệu kiểm thử từ dữ liệu thật,
rồi giám sát khi hệ thống đã lên production. Bạn bóc tách được từng node trong một đồ thị
[LangGraph](https://camnangai.com/ky-thuat/langgraph-la-gi) hoặc từng bước thực thi của một Deep Agent.

Với kỹ sư hệ thống, giá trị lớn nhất là đo được hiệu suất thay đổi ra sao khi bạn đổi model hoặc
sửa instructions trong prompt. Bạn có số liệu cụ thể để chứng minh phiên bản mới tốt hơn phiên bản
cũ về độ trễ, chi phí và chất lượng đầu ra — thay vì dựa vào cảm giác thử-sai.

## Trace, run, thread và project: LangSmith ghi lại những gì?

Để quản lý dữ liệu quan sát, **LangSmith** phân cấp thông tin theo một cấu trúc giúp bạn truy vết
nhanh. **Run** là đơn vị công việc cơ bản, tương đương một span trong OpenTelemetry: nó ghi lại
input và output của một lần gọi model, một lần chạy công cụ hoặc một truy xuất vector DB. **Trace**
là một cây chứa các run cho một thao tác duy nhất của người dùng. Mỗi trace giới hạn tối đa 25.000
run; vượt quá con số này, hệ thống ngừng ghi nhận thêm. Con số 25.000 nghe có vẻ rộng rãi, nhưng đó là trần cứng, và một agent lặp dài chạm tới nó sẽ mất phần trace cuối, đúng chỗ bạn cần nhìn khi debug.

![Cấu trúc lồng nhau của dữ liệu quan sát: nhiều run nằm trong một trace, nhiều trace nối thành một thread, còn trajectory là góc nhìn phẳng của cùng dữ liệu đó](https://camnangai.com/articles/langsmith-la-gi/03-vn.webp)

**Thread** là chuỗi các trace liên kết qua `thread_id`, đại diện cho một phiên làm việc nhiều lượt.
Thread giữ nguyên cấu trúc lồng nhau, còn **trajectory** cho bạn một góc nhìn phẳng gồm
các tin nhắn AI, Human và Tool xếp theo thời gian. Trajectory giúp đọc hiểu luồng logic nhanh hơn
vì đã loại bỏ nhiễu từ các bước thực thi ngầm, còn thread giữ lại toàn bộ chi tiết kỹ thuật để
debug.

Dữ liệu được lưu trong các **project**, mỗi project là một container tách biệt cho từng dịch vụ
hoặc từng môi trường (dev, staging, prod).

| Khái niệm  | Cấu trúc dữ liệu | Nội dung chứa                           | Dùng để làm gì                          |
| :--------- | :--------------- | :-------------------------------------- | :-------------------------------------- |
| Run        | Đơn vị đơn lẻ    | Input, output, metadata của một bước    | Kiểm tra chi tiết một thao tác cụ thể   |
| Trace      | Cây              | Toàn bộ các bước trong một thao tác     | Debug lỗi logic hoặc độ trễ hệ thống    |
| Thread     | Chuỗi các trace  | Lịch sử hội thoại nhiều lượt            | Giám sát hành vi agent qua cả phiên     |
| Trajectory | Danh sách phẳng  | Tin nhắn AI, Human, Tool theo thời gian | Đọc nhanh nội dung trao đổi, giảm nhiễu |

## Đánh giá chất lượng: dataset, experiment và LLM-as-judge

Quy trình đánh giá (evaluation) trong **LangSmith** chuyển từ giám sát thụ động sang kiểm thử chủ
động, qua hai giai đoạn: offline trước khi deploy, và online khi đã có traffic thật.

![Vòng lặp đánh giá: một trace lỗi trong production được đưa vào dataset, chạy experiment rồi so sánh phiên bản cũ với phiên bản mới](https://camnangai.com/articles/langsmith-la-gi/04-vn.webp)

Một vòng đánh giá thường bắt đầu khi bạn phát hiện một trace lỗi trong production. Bạn gắn thẻ
cho các trace đó rồi đưa chúng vào một **dataset** gồm input và reference output (đáp án tham
chiếu). Khi cập nhật code hoặc prompt, bạn chạy một **experiment** trên dataset này. LangSmith hiển
thị bảng so sánh side-by-side để bạn chấm điểm thủ công hoặc dùng bộ chấm tự động, và thấy được
phiên bản mới cải thiện tới đâu.

Cơ chế **LLM-as-judge** là trọng tâm để tự động hóa việc chấm điểm ở quy mô lớn. Bạn cấu hình một
model mạnh hơn làm giám khảo, đánh giá model đang phát triển theo các tiêu chí như tính trung thực
(faithfulness) hay mức độ liên quan (relevance). Điểm cần tỉnh táo là giám khảo cũng chỉ là một LLM, nên nó thừa hưởng đúng những điểm mù mà bạn đang muốn đo; nó giúp bạn chấm ở quy mô lớn chứ không thay được một lần đọc bằng mắt.

- **Reference-based evaluator:** so đầu ra của agent với đáp án chuẩn trong dataset để kiểm tra độ
  chính xác.
- **Reference-free evaluator:** chấm theo các tiêu chí độc lập như độ an toàn, mức độ độc hại
  (toxicity) hoặc định dạng JSON, không cần đáp án mẫu. Đây là lựa chọn cho giám sát online trên
  dữ liệu người dùng thật, nơi bạn không có sẵn đáp án đúng.

## Context Hub: quản lý prompt và ngữ cảnh như quản lý code

Context Hub tách logic trong code khỏi phần nội dung hướng dẫn của agent. Bạn quản lý các file
`AGENTS.md`, các kỹ năng (skill) và chính sách (policy) ngay trên giao diện **LangSmith**.

![Context Hub gắn tag dev, staging và prod cho từng phiên bản ngữ cảnh, cho phép đổi hành vi agent bằng cách chuyển tag mà không deploy lại code](https://camnangai.com/articles/langsmith-la-gi/05-vn.webp)

Hệ thống hỗ trợ versioning và tagging: bạn gắn tag `dev`, `staging` hoặc `prod` cho từng phiên bản
ngữ cảnh. Khi cần đổi hành vi agent, bạn sửa instructions trong Context Hub rồi chuyển tag, và thay
đổi có hiệu lực mà không cần deploy lại code. Cơ chế này cho phép chuyên gia nghiệp vụ trực tiếp
tinh chỉnh hành vi agent mà không đụng tới source code. Đổi lại, hành vi agent giờ nằm ngoài git, nên bạn phải coi lịch sử phiên bản trong Context Hub nghiêm túc đúng như coi lịch sử commit. Bạn cũng tham khảo được các prompt mẫu từ
cộng đồng qua LangChain Hub tích hợp sẵn.

## LangSmith Engine và SmithDB: những gì đổi sau Interrupt 2026

Sự kiện Interrupt 2026 mang lại hai nâng cấp đáng kể về hạ tầng và mức độ tự động hóa.

**LangSmith Engine** tự động theo dõi production trace, gom nhóm các lỗi tương đồng bằng
clustering, chẩn đoán nguyên nhân gốc dựa trên code và prompt, rồi mở Pull Request đề xuất cách
sửa. Vai trò của bạn chuyển từ dò lỗi thủ công sang xem xét và merge các đề xuất. Đó là một thay đổi thật, nhưng nó dịch chuyển gánh nặng chứ không xóa bỏ: một Pull Request sai do máy mở ra vẫn tốn đúng ngần ấy thời gian đọc.

![Vòng lặp tự động của LangSmith Engine: theo dõi trace production, gom nhóm lỗi, chẩn đoán nguyên nhân gốc rồi mở Pull Request đề xuất cách sửa](https://camnangai.com/articles/langsmith-la-gi/06-vn.webp)

**SmithDB** là database chuyên dụng cho observability của agent, viết bằng Rust trên nền Apache
DataFusion và Vortex. Nó dùng object storage để lưu trace bền vững, đi kèm các dịch vụ stateless
cho ingestion và query. Kiến trúc này tối ưu cho các truy vấn trace lồng nhau nhiều tầng:

- Tải một cây trace hoàn chỉnh: 92ms (P50).
- Tải một run đơn lẻ: 71ms (P50).
- Nhanh gấp tới 15 lần so với backend cũ, đồng thời giúp hệ thống chạy stateless và dễ mở rộng.

## Cloud, hybrid hay self-host?

Tùy yêu cầu bảo mật và mức độ bạn cần kiểm soát dữ liệu, có ba lựa chọn triển khai:

- **Cloud (SaaS):** dữ liệu nằm trên server của LangChain, chọn được vùng US hoặc EU. Hợp với đội
  cần triển khai nhanh.
- **Hybrid:** control plane nằm trên SaaS để quản lý giao diện, còn data plane, nơi lưu trace,
  nằm tại hạ tầng của bạn.
- **Self-host:** chạy toàn bộ stack trên hạ tầng riêng qua Kubernetes hoặc Terraform. Đây là lựa
  chọn của doanh nghiệp có yêu cầu khắt khe về data residency.

![Ba lựa chọn triển khai LangSmith: Cloud, Hybrid và Self-host, khác nhau ở chỗ control plane và data plane nằm ở đâu](https://camnangai.com/articles/langsmith-la-gi/07-vn.webp)

Một instance self-host gồm các dịch vụ lõi: frontend Nginx phục vụ giao diện và định tuyến API,
backend xử lý CRUD và business logic, platform backend lo ingestion cùng xác thực khối lượng lớn,
playground chuyển tiếp request tới các nhà cung cấp model, và ACE backend chạy code tùy ý trong môi
trường cô lập.

Về lưu trữ, bản self-host cần **ClickHouse** cho trace và feedback, **PostgreSQL** cho dữ liệu vận
hành, **Redis** hoặc **Valkey** cho hàng đợi và cache, cùng **blob storage** (S3, GCS hoặc Azure
Blob) cho các artifact lớn. Một điểm cần nắm trước khi lên kế hoạch: self-host là add-on của gói
Enterprise, thường đi kèm hợp đồng theo năm.

## Chi phí tính theo trace và những khoản dễ vượt dự toán

Tính đến giữa năm 2026, **LangSmith** có ba mức: **Developer** (miễn phí, 1 seat, 5.000 base trace
mỗi tháng), **Plus** (39 USD/seat/tháng, kèm 10.000 base trace) và **Enterprise** (báo giá riêng).
Vượt hạn mức, base trace lưu 14 ngày có giá 2,50 USD cho mỗi 1.000 trace. Hệ thống còn tính thêm
theo LangChain Storage Unit (LSU, 1,00 USD) và LangChain Compute Unit (LCU, 1,50 USD).

Khoản dễ vượt dự toán đầu tiên là extended retention. Nếu cần giữ trace lâu hơn 14 ngày, giá lên
5,00 USD cho mỗi 1.000 trace với thời hạn lưu 400 ngày. Nếu bạn nâng một base trace lên extended
_sau_ khi trace đã được ghi nhận, nền tảng tính thêm 2,50 USD cho mỗi 1.000 trace. Khác biệt này
quan trọng khi bạn muốn dựng dataset đánh giá dài hạn từ dữ liệu production đã có.

Cái bẫy lớn hơn nằm ở độ mịn (granularity) của instrumentation, tức là cách bạn gắn điểm đo trong code,
vì số trace phụ thuộc vào cách bạn đo chứ không phải lưu lượng người dùng. Lấy một agent hỗ trợ
khách hàng xử lý 50.000 phiên mỗi tháng: nếu bạn ghi cả phiên thành một lần chạy, bạn phát sinh
50.000 trace, tương đương 100 USD vượt hạn mức. Nếu instrumentation mở một lần chạy mới cho mỗi
lượt hội thoại, trung bình sáu lượt một phiên, con số thành 300.000 trace và hóa đơn vượt hạn
mức khoảng 725 USD, trong khi giá trị mang lại cho người dùng vẫn y hệt. Chênh lệch sáu lần đó đến
từ lựa chọn kỹ thuật, không phải từ tăng trưởng. Theo tôi, đây là chỗ cần chốt sớm nhất: ranh giới của một trace nên nằm trong bản thiết kế hệ thống, chứ không phải là thứ bạn phát hiện ra khi đọc hóa đơn.

![Bẫy chi phí do độ mịn instrumentation: cùng 50.000 phiên, ghi mỗi phiên một trace so với ghi mỗi lượt hội thoại một trace tạo ra chênh lệch sáu lần](https://camnangai.com/articles/langsmith-la-gi/08-vn.webp)

Các lượt chạy đánh giá cũng được tính là trace phải trả tiền. Bạn nên cấu hình sampling hoặc kiểm
soát trực tiếp bằng biến môi trường:

```bash
export LANGSMITH_TRACING=true
export LANGSMITH_TRACING_MODE=otel
```

## LangSmith và Langfuse khác nhau ở đâu?

Đối thủ trực tiếp của **LangSmith** là [Langfuse](https://camnangai.com/ky-thuat/langfuse-la-gi). Cả hai đều đang dịch
chuyển sang chuẩn OpenTelemetry GenAI, nhưng khác nhau rõ ở mô hình kinh doanh và độ sâu tích hợp.

| Tiêu chí           | LangSmith             | Langfuse                           |
| :----------------- | :-------------------- | :--------------------------------- |
| Giấy phép          | Độc quyền             | MIT ở phần lõi                     |
| Đơn vị tính phí    | Trace                 | Unit (theo observation)            |
| Self-host          | Add-on của Enterprise | Miễn phí, chạy bằng Docker Compose |
| Tích hợp LangChain | Sâu nhất, mặc định    | Tốt, qua OTel hoặc integration     |

Đơn vị tính phí là khác biệt dễ bị bỏ qua nhất. LangSmith tính theo trace, mà một trace chứa được
tới 25.000 bước; Langfuse tính theo unit, nghĩa là mỗi span và mỗi điểm chấm đều được đếm riêng.
Với các agent "nói nhiều", gọi rất nhiều công cụ trong một lượt, mô hình theo trace của LangSmith
dễ dự đoán hơn, còn mô hình theo unit của Langfuse tăng tuyến tính theo độ phức tạp bên trong.

Về định vị sản phẩm, LangSmith là nền tảng đóng gói sẵn: có runtime được quản lý, có Engine tự đề
xuất cách sửa lỗi, chạy trên SmithDB. Langfuse chọn hướng mã nguồn mở cho các đội muốn sở hữu hoàn
toàn data plane mà không cần hợp đồng doanh nghiệp — và vẫn giữ cam kết mã nguồn mở sau khi được
ClickHouse mua lại vào tháng 1/2026.

## Khi nào nên chọn LangSmith?

Chọn **LangSmith** khi hệ thống của bạn đã dựng trên LangChain hoặc LangGraph: phần tích hợp gần
như không cần cấu hình, và bạn nhìn được vào các vòng lặp agent mà công cụ đa dụng khó dựng lại.
Engine càng đáng giá nếu đội bạn muốn tự động phát hiện các dạng lỗi trong production thay vì ngồi
đọc trace thủ công.

Ngược lại, nếu lưu lượng rất lớn và ngân sách hẹp, hãy tính kỹ trước khi cam kết: chi phí theo
trace tăng rất nhanh khi instrumentation thiết kế không hợp lý, và bài toán đó xuất hiện trước khi
bạn kịp cần tới runtime được quản lý. Nói gọn, đây là lựa chọn giữa chiều sâu hệ sinh thái
(LangSmith) và quyền sở hữu data plane ([Langfuse](https://camnangai.com/ky-thuat/langfuse-la-gi)), nên hãy chọn theo thứ
bạn không sẵn sàng đánh đổi.

## Tài liệu tham khảo

- [LangSmith: AI Agent & LLM Observability and Evals Platform — LangChain](https://www.langchain.com/langsmith-platform)
- [Observability concepts — Docs by LangChain](https://docs.langchain.com/langsmith/observability-concepts)
- [Evaluation concepts — Docs by LangChain](https://docs.langchain.com/langsmith/evaluation-concepts)
- [Prompt & Context Hub — Docs by LangChain](https://docs.langchain.com/langsmith/context-hub)
- [Self-hosted LangSmith — Docs by LangChain](https://docs.langchain.com/langsmith/self-hosted)
- [LangSmith Plans and Pricing — LangChain](https://www.langchain.com/pricing)
- [Everything we shipped at Interrupt — LangChain](https://www.langchain.com/blog/interrupt-2026-overview)
- [Top LLM Observability and Evaluation Platforms in 2026: Langfuse, LangSmith, Braintrust, Arize, and More Compared — MarkTechPost](https://www.marktechpost.com/2026/08/09/top-llm-observability-and-evaluation-platforms-in-2026-langfuse-langsmith-braintrust-arize-and-more-compared/)
- [LangSmith Pricing Explained (2026): Traces, Seats & Alternatives — Inference.net](https://inference.net/content/langsmith-pricing/)
