# Distributed Training và Distributed Inference: Kiến trúc quy mô lớn

> Distributed Training và Distributed Inference giải quyết rào cản bộ nhớ HBM, tối ưu hóa thông lượng và đáp ứng SLO độ trễ nghiêm ngặt cho LLM.

Nguồn: https://camnangai.com/ky-thuat/distributed-training-va-distributed-inference-la-gi  
Xuất bản: 2026-11-09

Khi quy mô của các Mô hình Ngôn ngữ Lớn (LLM) mở rộng vượt ngưỡng hàng chục tỷ tham số, việc huấn luyện và phục vụ mô hình trên một GPU đơn lẻ nhanh chóng đụng trần giới hạn vật lý của bộ nhớ HBM (High Bandwidth Memory). **Distributed Training** (Huấn luyện phân tán) ra đời như một giải pháp kiến trúc bắt buộc, chia nhỏ các trạng thái mô hình bao gồm trọng số, gradient, trạng thái bộ tối ưu Adam 32-bit và bộ nhớ kích hoạt (activations) trên nhiều nút tính toán.

Trong môi trường vận hành thực tế, mục tiêu của **Distributed Training** tập trung vào việc tối đa hóa thông lượng tính toán (throughput, đo bằng tokens/giây và hiệu suất sử dụng GPU - Model FLOPs Utilization - MFU) trong suốt các chu kỳ lan truyền tiến (forward) và lùi (backward). Ngược lại, suy luận phân tán (Distributed Inference) phải đối mặt với bài toán tối thiểu hóa độ trễ phản hồi, cụ thể là thời gian tạo token đầu tiên (Time to First Token - TTFT) và thời gian tạo mỗi token tiếp theo (Time per Output Token - TPOT) trong điều kiện tải phục vụ đồng thời cao.

![Kiến trúc tổng thể của hệ thống huấn luyện và suy luận phân tán cho mô hình ngôn ngữ lớn](https://camnangai.com/articles/distributed-training-va-distributed-inference-la-gi/01-infographic-vn.webp)

## Nút thắt bộ nhớ: Vì sao một GPU không bao giờ là đủ?

Trong quá trình huấn luyện mô hình học sâu quy mô lớn, tổng dung lượng bộ nhớ VRAM bị chiếm dụng bởi hai thành phần chính: Trạng thái mô hình (Model States) và Trạng thái dư thừa (Residual States). Trạng thái mô hình bao gồm trọng số mô hình ở định dạng FP16 hoặc BF16 (tiêu tốn 2 bytes cho mỗi tham số), bản sao trọng số gốc FP32 master weights (4 bytes/tham số), gradient (2 đến 4 bytes/tham số) và trạng thái bộ tối ưu Adam 32-bit (8 bytes/tham số để lưu trữ biến momentums và variances). Như vậy, một quá trình huấn luyện độ chính xác hỗn hợp (mixed-precision FP16/BF16) tiêu chuẩn sử dụng Adam đòi hỏi tối thiểu 16 bytes dung lượng HBM cho mỗi tham số ($2 + 2 + 4 + 8 = 16$ bytes). Bên cạnh đó, Trạng thái dư thừa chiếm dụng dung lượng đáng kể cho bộ nhớ kích hoạt (activations), các bộ đệm tạm thời (temporary buffers) và sự phân mảnh bộ nhớ (memory fragmentation).

Bộ nhớ kích hoạt trước khi áp dụng kỹ thuật tái tính toán được biểu diễn toán học theo quy mô tăng dần: $O(L \cdot b \cdot s \cdot h)$, trong đó $L$ là số lớp Transformer, $b$ là kích thước micro-batch, $s$ là độ dài chuỗi ngữ cảnh, và $h$ là chiều ẩn (hidden dimension). Riêng ma trận chú ý (attention matrix) trong mỗi đầu chú ý đóng góp mức tăng $O(b \cdot s^2 \cdot a)$ với $a$ là số lượng attention heads. Để tránh đụng trần VRAM, kỹ thuật tái tính toán kích hoạt (activation recomputation hoặc gradient checkpointing) loại bỏ việc lưu trữ toàn bộ activations trung gian của các lớp nội bộ, chỉ giữ lại activations tại ranh giới các phân đoạn. Kỹ thuật này nén chi phí bộ nhớ kích hoạt xuống mức $O(L)$ bằng cách chấp nhận tính toán lại luồng lan truyền tiến trong quá trình lan truyền lùi, đánh đổi một phần chi phí thời gian tính toán của forward pass.

Khi chuyển sang giai đoạn suy luận (inference), các trạng thái bộ tối ưu và gradient hoàn toàn biến mất khỏi HBM. Bộ nhớ GPU lúc này chịu sự chi phối bởi hai thành phần: trọng số mô hình tĩnh (tiêu tốn 2 bytes/tham số ở định dạng FP16/BF16) và bộ đệm Key-Value Cache (KV Cache) phát sinh động theo thời gian thực cho từng yêu cầu người dùng. Khi độ dài chuỗi ngữ cảnh ($s$) mở rộng và số lượng yêu cầu xử lý đồng thời (concurrency) tăng cao, dung lượng KV Cache tăng vọt theo công thức $2 \times 2 \times L \times h \times s \times b$ (cho cả Key và Value ở FP16), khiến không gian lưu trữ trên một GPU đơn lẻ nhanh chóng tràn bộ nhớ ngay cả khi trọng số tĩnh đã nằm vừa trong card.

Các rào cản vật lý của phần cứng (như V100 32GB hay H100 80GB) tạo ra giới hạn không thể vượt qua nếu không có chiến lược phân tán. Hãy xét một mô hình 10 tỷ tham số (10B): riêng trọng số FP16 đã chiếm 20GB HBM. Khi huấn luyện, các trạng thái Adam (80GB), FP32 master weights (40GB) và gradient (20GB) đòi hỏi tổng cộng 160GB HBM chỉ tính riêng trạng thái mô hình, vượt gấp đôi dung lượng của một card H100 80GB. Với các dòng mô hình 70B+, dung lượng trạng thái mô hình chạm mốc 1.12 TB, khiến việc khởi chạy trên một thiết bị đơn lẻ chắc chắn gặp lỗi tràn bộ nhớ (Out-Of-Memory - OOM) ngay tại bước khởi tạo.

![Cấu trúc phân bổ bộ nhớ VRAM trong huấn luyện và suy luận mô hình ngôn ngữ lớn](https://camnangai.com/articles/distributed-training-va-distributed-inference-la-gi/02-vn.webp)

## Phân loại các chiến lược song song hóa: Data, Tensor và Pipeline Parallelism

Phương pháp Song song hóa Dữ liệu ngây thơ (Data Parallelism - DP) sao chép toàn bộ mô hình lên từng worker và chia nhỏ minibatch dữ liệu, nhưng GPU chính sẽ trở thành nút thắt cổ chai khi thu thập gradient và tính toán loss. Distributed Data Parallel (DDP) khắc phục điều này bằng cách nhân bản tham số mô hình trên từng rank, xử lý độc lập các micro-batch và thực hiện đồng bộ hóa gradient thông qua phép toán AllReduce toàn cục. DDP tối ưu hóa hiệu năng bằng kỹ thuật gom nhóm gradient (gradient bucketing) và thực hiện gối đầu (overlapping) giao tiếp AllReduce ngay trong quá trình tính toán lan truyền lùi (backward pass).

Song song hóa Tensor (Tensor Parallelism - TP) theo kiến trúc Megatron-LM can thiệp sâu vào cấu trúc nội bộ của từng lớp Transformer bằng cách phân chia ma trận trọng số ngang hoặc dọc. Trong khối MLP, ma trận trọng số $A$ được tách theo cột ($A = [A_1, A_2]$) để thực hiện phép nhân ma trận và kích hoạt GeLU song song (`[Y_1, Y_2] = [GeLU(X·A_1), GeLU(X·A_2)]`), sau đó ma trận kế tiếp được nhân theo hàng. Khối Self-Attention phân chia ma trận Query, Key, Value theo từng đầu chú ý (attention heads). TP đòi hỏi kết nối phần cứng có băng thông cực cao (NVLink/NVSwitch) vì phải liên tục thực hiện giao tiếp AllReduce sau mỗi khối lớp Transformer.

Song song hóa Đường ống (Pipeline Parallelism - PP) phân chia mô hình theo chiều dọc (theo lớp) trên nhiều nút mạng khác nhau. Để giải quyết hiện tượng bong bóng chờ (pipeline bubble) của việc phân tách lớp ngây thơ, GPipe chia minibatch thành $m$ micro-batch và áp dụng tính toán song song với bước đồng bộ gradient ở cuối batch. Tỷ lệ bong bóng chờ trong GPipe được xác định bằng công thức toán học:
`Bubble Fraction = (d - 1) / (m + d - 1)`
trong đó $d$ là độ sâu đường ống (số phân đoạn stage) và $m$ là số lượng micro-batch. Khi cấu hình hệ thống đạt điều kiện $m \ge 4d$ kết hợp với kỹ thuật tái tính toán kích hoạt, tỷ lệ overhead của bong bóng chờ giảm xuống mức không đáng kể. Lịch trình PipeDream 1F1B (One Forward, One Backward) cải tiến cơ chế này bằng cách đan xen 1 bước tiến và 1 bước lùi trên mỗi worker. Biến thể PipeDream-flush áp dụng bước xả pipeline đồng bộ cuối batch để duy trì một phiên bản trọng số nhằm tiết kiệm bộ nhớ, trong khi PipeDream-2BW sử dụng cơ chế đệm kép (double-buffered weights) để duy trì 2 phiên bản trọng số, triệt tiêu việc phải lưu trữ nhiều phiên bản trọng số (weight stashing) theo độ sâu pipeline.

Chiến lược Song song hóa 3D (3D Parallelism) tích hợp đồng thời Data, Tensor và Pipeline Parallelism để mở rộng quy mô huấn luyện lên hàng nghìn GPU. Trong cấu hình này, TP được ưu tiên gán bên trong cùng một nút mạng (khai thác tối đa băng thông NVLink nội nút lên tới hàng trăm GB/s), trong khi PP và DP được định tuyến qua mạng liên nút (InfiniBand/RoCE) để tối ưu hóa đồng thời bộ nhớ, năng lực tính toán và giảm chi phí truyền thông.

![So sánh kiến trúc ba chiến lược song song hóa: Data, Tensor và Pipeline Parallelism](https://camnangai.com/articles/distributed-training-va-distributed-inference-la-gi/03-vn.webp)

## Tối ưu bộ nhớ huấn luyện với ZeRO và FSDP

Giải thuật tối ưu không dư thừa Zero Redundancy Optimizer (ZeRO) triệt tiêu sự trùng lặp bộ nhớ trong Data Parallelism qua ba cấp độ tối ưu hóa phân đoạn. ZeRO-1 chia nhỏ trạng thái bộ tối ưu Adam trên các DP ranks (giảm từ $4\times$ đến $8\times$ dung lượng bộ nhớ). ZeRO-2 phân chia đồng thời trạng thái bộ tối ưu và gradient (sử dụng phép Reduce-Scatter cho gradient). ZeRO-3 tiến xa hơn bằng cách phân chia toàn bộ trạng thái bộ tối ưu, gradient và cả tham số mô hình. Trong ZeRO-3, các tham số phân đoạn được All-Gather về GPU ngay trước khi tính toán forward/backward và lập tức được giải phóng (reshard) khỏi bộ nhớ sau khi hoàn thành bước tính toán.

Để đẩy giới hạn bộ nhớ lên quy mô hàng nghìn tỷ tham số, ZeRO-Offload hỗ trợ chuyển trạng thái bộ tối ưu và gradient sang RAM của CPU trong ZeRO-2. ZeRO-Infinity mở rộng ZeRO-3 bằng cách sử dụng công cụ infinity offload engine để đẩy toàn bộ tham số, gradient và trạng thái bộ tối ưu sang bộ nhớ CPU RAM hoặc ổ cứng NVMe. Đi kèm với đó, cơ chế Memory-centric tiling (`TiledLinear`) chia nhỏ các phép toán tuyến tính kích thước lớn thành các ô thi hành (execution tiles) tuần tự dựa trên các tham số `in_splits` và `out_splits` tương quan với `tile_factor` (ví dụ: chia ma trận $[h, 4h]$ thành các ô làm việc cố định `[h/tile_factor, h/tile_factor]`), giúp khống chế đỉnh bộ nhớ làm việc (peak working memory) không bị vọt lên trong các lớp Transformer.

PyTorch FSDP2 (Fully Sharded Data Parallel thế hệ 2) đại diện cho kiến trúc sharding thế hệ mới, giải quyết triệt để các hạn chế của FSDP1. Khác với FSDP1 vốn phụ thuộc vào cấu trúc tham số phẳng (`FlatParameter`), FSDP2 quản lý các tham số phân đoạn dưới dạng các `DTensor` được sharded trực tiếp trên chiều 0 (`Shard(0)`). Cơ chế này loại bỏ hoàn toàn việc truy vết luồng phức tạp (`recordStream`) và loại bỏ các lời gọi đồng bộ CPU, giúp bộ quản lý bộ nhớ CUDA (CUDA caching allocator) vận hành chính xác và không bị phân mảnh. FSDP2 cung cấp cơ chế lấy trước dữ liệu hiện (explicit prefetching qua `set_modules_to_forward_prefetch` và `unshard()`) hoặc ẩn (implicit prefetching), đồng thời hỗ trợ chính sách hỗn hợp độ chính xác (`MixedPrecisionPolicy`: tính toán ở BF16 và thực hiện reduce-scatter ở FP32 để bảo toàn độ chính xác số học).

```python
from torch.distributed.fsdp import fully_shard, FSDPModule

model = Transformer()
for layer in model.layers:
    fully_shard(layer)
fully_shard(model)
```

![Các cấp độ phân mảnh trạng thái bộ tối ưu, gradient và tham số trong ZeRO và FSDP](https://camnangai.com/articles/distributed-training-va-distributed-inference-la-gi/04-vn.webp)

## Suy luận phân tán: Hạ độ trễ và mở rộng thông lượng phục vụ

Quyết định kiến trúc cho hệ thống suy luận phân tán dựa trên mô hình kích thước tham số và tài nguyên hạ tầng phần cứng hiện có. Cấu hình Single GPU áp dụng khi toàn bộ trọng số tĩnh và không gian cấp phát KV Cache phục vụ ngữ cảnh mục tiêu nằm gọn trong dung lượng HBM của một card đơn lẻ. Cấu hình Single-Node Multi-GPU áp dụng Tensor Parallelism (TP) khi kích thước mô hình vượt quá VRAM của 1 GPU nhưng vẫn nằm vừa trong tổng dung lượng HBM của một nút máy chủ. Khi mô hình đạt kích thước siêu lớn không thể chứa vừa trên một nút đơn lẻ, cấu hình Multi-Node Multi-GPU bắt buộc phải được kích hoạt bằng cách kết hợp Tensor Parallelism (TP nội nút qua NVLink) và Pipeline Parallelism (PP liên nút qua mạng tốc độ cao).

Các môi trường thực thi (runtime executors) điều phối tiến trình phân tán dựa trên phạm vi triển khai của cụm máy chủ. Triển khai vLLM trên một nút đơn lẻ mặc định kích hoạt cơ chế multiprocessing bản địa của Python (`mp`), giúp tối giản các phụ thuộc hệ thống và triệt tiêu overhead khởi tạo. Ngược lại, khi mở rộng cụm phục vụ lên nhiều nút (multi-node), vLLM bắt buộc phải chuyển sang sử dụng Ray placement groups (`ray`) để quản lý, lập lịch và duy trì trạng thái của các tiến trình worker từ xa trên toàn mạng.

Năng lực cấp phát không gian phục vụ tính theo số lượng token đồng thời được vLLM định lượng trực tiếp từ quá trình profile VRAM lúc khởi động hệ thống. Runtime xuất ra chỉ số khối bộ nhớ khả dụng (ví dụ: `# GPU blocks: 790`). Tổng số lượng token tối đa mà hệ thống có thể phục vụ tại một thời điểm được tính theo công thức: Số lượng GPU blocks $\times$ 16 (kích thước block size mặc định). Việc tăng tham số `--tensor-parallel-size` sẽ chia nhỏ trọng số mô hình trên nhiều GPU, làm giảm dung lượng VRAM tĩnh bị chiếm dụng trên mỗi card, qua đó mở rộng trực tiếp tổng số GPU blocks khả dụng để nâng cao khả năng xử lý đồng thời.

```bash
# Single-node serving với TP=4
vllm serve facebook/opt-13b --tensor-parallel-size 4

# Multi-node serving với TP=8 và PP=2
vllm serve /path/to/model --tensor-parallel-size 8 --pipeline-parallel-size 2
```

## Kiến trúc tách rời Prefill và Decode (Disaggregated Serving)

Kiến trúc phục vụ đồng vị trí truyền thống (co-located serving) đóng gói cả hai giai đoạn Prefill và Decode vào chung một GPU batch, dẫn đến việc vi phạm nghiêm trọng Cam kết chất lượng dịch vụ (SLO). Giai đoạn Prefill bị giới hạn bởi năng lực tính toán (compute-bound), xử lý song song hàng loạt token đầu vào của prompt để đạt thông lượng cao. Ngược lại, giai đoạn Decode bị giới hạn bởi băng thông bộ nhớ (memory-bandwidth-bound), sinh tuần tự từng token và phải truy xuất liên tục bộ nhớ KV Cache. Việc chạy chung hai giai đoạn này gây ra hiện tượng nhiễu tranh chấp tài nguyên nghiêm trọng, làm bùng nổ độ trễ phản hồi.

Hệ thống phục vụ cần tối ưu hóa hai chỉ số độ trễ độc lập: Thời gian tạo token đầu tiên (Time to First Token - TTFT) cho giai đoạn Prefill, và Thời gian tạo mỗi token tiếp theo (Time per Output Token - TPOT) cho giai đoạn Decode. Kiến trúc DistServe giải bó hoàn toàn hai giai đoạn bằng cách phân bổ chúng lên các cụm GPU chuyên biệt. Cụm Prefill được cấu hình mức TP cao để tối ưu hóa TTFT, trong khi cụm Decode điều chỉnh chiến lược song song hóa và batching hướng tới việc tối đa hóa băng thông bộ nhớ để đáp ứng TPOT.

Cơ chế vận hành cốt lõi của kiến trúc tách rời là truyền dòng dữ liệu KV Cache đã được tính toán từ các nút Prefill sang các nút Decode thông qua mạng kết nối cụm tốc độ cao. Việc sắp xếp vị trí nút dựa trên băng thông liên kết mạng giúp giảm thiểu chi phí thời gian truyền KV Cache, đảm bảo tỷ lệ yêu cầu hoàn thành trong giới hạn SLO (goodput) đạt mức trên 90%.

![Sơ đồ kiến trúc tách rời hai giai đoạn Prefill và Decode trong phục vụ suy luận phân tán](https://camnangai.com/articles/distributed-training-va-distributed-inference-la-gi/05-vn.webp)

## Hạ tầng mạng và truyền thông liên kết: NVLink, InfiniBand và NCCL

Phân cấp hạ tầng mạng quyết định trực tiếp hiệu năng của các chiến lược phân tán. Băng thông nội nút (intra-node) sử dụng công nghệ NVLink/NVSwitch cung cấp tốc độ hàng trăm GB/s trên mỗi GPU, đáp ứng hoàn hảo cho các thao tác truyền thông tần suất cao, nhạy cảm với độ trễ như Tensor Parallelism. Trong khi đó, băng thông liên nút (inter-node) qua mạng InfiniBand hoặc RoCE Ethernet đạt tốc độ vài chục GB/s, phù hợp hơn cho Pipeline Parallelism và Data Parallelism vốn có khả năng chịu đựng độ trễ truyền thông cao hơn.

Thư viện truyền thông tập thể NVIDIA Collective Communications Library (NCCL) cung cấp các thuật toán nền tảng bao gồm: AllReduce, ReduceScatter, AllGather, Broadcast và Point-to-Point (P2P). Giải thuật Ring-AllReduce tối ưu hóa băng thông mạng dạng vòng bằng cách chia nhỏ quá trình đồng bộ thành hai giai đoạn nối tiếp: Scatter-Reduce (gom và giảm dữ liệu trên từng đoạn) và All-Gather (thu thập và phát tán dữ liệu hoàn chỉnh cho tất cả các rank).

Để xác minh vận hành hạ tầng mạng trong cụm production, bạn cần khởi chạy hệ thống với biến môi trường `NCCL_DEBUG=TRACE`. Nếu nhật ký xuất hiện dòng `[send] via NET/Socket`, hệ thống đang phải chạy qua giao thức TCP Socket ngây thơ với hiệu năng rất thấp. Nhật ký xuất hiện dải lệnh `[send] via NET/IB/GDRDMA` xác nhận hệ thống đã kích hoạt thành công InfiniBand kết hợp GPU-Direct RDMA. Khi triển khai trong môi trường Docker container, cờ `--privileged` cùng các cờ môi trường `-e NCCL_IB_HCA=mlx5` (hoặc `-e NCCL_SOCKET_IFNAME=eth0`) bắt buộc phải được cấu hình để truy cập trực tiếp phần cứng mạng.

![Phân cấp hạ tầng mạng giữa kết nối NVLink nội nút và InfiniBand liên nút trong cụm GPU](https://camnangai.com/articles/distributed-training-va-distributed-inference-la-gi/06-vn.webp)

## Huấn luyện và suy luận: Bảng so sánh và tiêu chí lựa chọn cho AI Engineer

| Tiêu chí                                                 | Distributed Training                                                  | Distributed Inference                                                   |
| :------------------------------------------------------- | :-------------------------------------------------------------------- | :---------------------------------------------------------------------- |
| **Chỉ số cốt lõi (Core Metric)**                         | Thông lượng (Tokens/s, MFU)                                           | Độ trễ (TTFT, TPOT) & Goodput (>90% SLO)                                |
| **Nút thắt bộ nhớ chính (Memory Bottleneck)**            | Trạng thái Optimizer (Adam 32-bit), Gradients, Trọng số & Activations | Trọng số mô hình tĩnh & Dynamic KV Cache                                |
| **Chiến lược song song hóa (Parallelism Strategies)**    | DP/DDP, ZeRO-1/2/3, FSDP2, TP, PP, 3D Parallelism                     | TP, PP, Disaggregated Prefill/Decode                                    |
| **Nguồn overhead truyền thông (Communication Overhead)** | AllReduce / ReduceScatter / AllGather liên tục mỗi bước lặp           | Intra-layer AllReduce (TP) & Truyền KV Cache qua mạng                   |
| **Yêu cầu hạ tầng mạng (Network Hardware)**              | NVLink nội nút + InfiniBand/RoCE liên nút (RDMA)                      | NVLink băng thông cao cho TP; Băng thông liên nút cao cho Disaggregated |

Khi lựa chọn kiến trúc triển khai cho bài toán huấn luyện, hãy ưu tiên PyTorch FSDP2 hoặc DeepSpeed ZeRO-3 nếu cụm máy chủ của bạn gồm các nút GPU phổ thông kết nối qua mạng Ethernet/InfiniBand tiêu chuẩn, vì các giải pháp này giúp nén bộ nhớ HBM tối đa mà không đòi hỏi tái cấu trúc mã nguồn mô hình. Trường hợp bạn sở hữu hạ tầng quy mô lớn (hàng trăm GPU) với kết nối NVLink nội nút và InfiniBand inter-node băng thông cao, việc áp dụng Megatron 3D Parallelism (kết hợp TP nội nút, PP và DP liên nút) là phương án tối ưu để triệt tiêu overhead truyền thông và đạt MFU cao nhất.

Đối với hệ thống suy luận phục vụ sản xuất, nếu mô hình nằm vừa trong tổng bộ nhớ HBM của một nút đơn lẻ, hãy vận hành Tensor Parallelism thuần túy với vLLM runtime để khai thác triệt để băng thông NVLink. Khi phải xử lý các mô hình từ hàng chục đến hàng trăm tỷ tham số với yêu cầu nghiêm ngặt về SLO độ trễ (TTFT và TPOT) dưới lưu lượng truy cập cao, bạn nên áp dụng kiến trúc tách rời Prefill và Decode (Disaggregated Serving như DistServe). Cấu hình này triệt tiêu hoàn toàn sự nhiễu tranh chấp tài nguyên giữa hai giai đoạn, cho phép tối ưu hóa độc lập chiến lược song song hóa trên từng cụm GPU và duy trì Goodput hệ thống đạt trên 90%.

## Tài liệu tham khảo

- [Distributed Inference and Serving — vLLM](https://docs.vllm.ai/en/v0.7.0/serving/distributed_serving.html)
- [Getting Started with Fully Sharded Data Parallel (FSDP2) — PyTorch Tutorials 2.15.0+cu132 documentation](https://docs.pytorch.org/tutorials/intermediate/FSDP_tutorial.html)
- [How to Train Really Large Models on Many GPUs? | Lil'Log](https://lilianweng.github.io/posts/2021-09-25-train-large/)
- [Parallelism methods · Hugging Face](https://huggingface.co/docs/transformers/en/perf_train_gpu_many)
- [The Ultra-Scale Playbook - a Hugging Face Space by nanotron](https://huggingface.co/spaces/nanotron/ultrascale-playbook)
- [Zero Redundancy Optimizer - DeepSpeed](https://www.deepspeed.ai/tutorials/zero/)
- [DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving](https://arxiv.org/abs/2401.09670)
