Bài 1: Tại sao Deep Learning? Phân biệt với ML cổ điển

Sau khi đọc bài này, bạn sẽ:

• Phát biểu được Deep Learning là gì và nó nằm ở đâu trong sơ đồ AI / ML / DL.
• Chỉ ra được điểm khác biệt then chốt giữa DL và ML cổ điển: feature engineering thủ công so với representation learning.
• Biết được DL bùng nổ từ ~2012 nhờ data, compute, algorithm và software — không phải vì "AI tự nhiên thông minh hơn".
• Chọn được DL hay ML cổ điển cho một bài toán cụ thể dựa trên lượng data, loại input, yêu cầu interpretability.
• Nắm overview các họ kiến trúc DL chính (MLP, CNN, RNN, Transformer, Generative) sẽ học trong Series 3.
• Hiểu giới hạn của DL để không thổi phồng và không kỳ vọng sai.

Series 2 đã đi qua các model ML cổ điển: Linear Regression, Logistic Regression, Decision Tree, Random Forest, SVM, KNN, K-Means, PCA. Đặc điểm chung của ML cổ điển:

• Feature engineering thủ công — con người thiết kế feature từ raw data trước khi đưa vào model. Ví dụ với ảnh: HOG, SIFT; với text: TF-IDF, n-gram; với time series: rolling mean, lag, Fourier.
• Model "shallow" — chỉ một hoặc vài layer biến đổi tuyến tính / phi tuyến đơn giản. Số tham số thường vài trăm đến vài chục triệu.
• Hoạt động tốt với tabular data và data đã được tổ chức kỹ. Trên các leaderboard Kaggle về tabular, XGBoost và LightGBM vẫn rất cạnh tranh.

Pipeline điển hình của ML cổ điển trông như sau:

raw data
   │
   ▼
[ feature engineering thủ công ]   ← con người thiết kế
   │
   ▼
[ shallow model: LR / RF / GBM ]   ← học mapping feature → output
   │
   ▼
prediction

Hai bài toán mà ML cổ điển rất khó xử lý: ảnh (mỗi ảnh có hàng trăm nghìn pixel, không có rule rõ ràng để extract feature) và text dài (ngôn ngữ tự nhiên có cấu trúc phức tạp, n-gram TF-IDF chỉ giải quyết được một phần).

Deep Learning là tập con của Machine Learning, dùng neural network nhiều layer (deep) để học cả feature lẫn mapping trực tiếp từ raw data tới output. Định nghĩa cô đọng từ LeCun, Bengio, Hinton trên Nature (2015):

"Deep-learning methods are representation-learning methods with multiple levels of representation, obtained by composing simple but non-linear modules that each transform the representation at one level (starting with the raw input) into a representation at a higher, slightly more abstract level."

Hai từ khóa cần nhớ:

• Representation learning — model tự học cách biểu diễn dữ liệu (feature), không cần con người thiết kế.
• Multiple levels — chồng nhiều layer, mỗi layer biến raw input thành biểu diễn trừu tượng hơn. Trong CNN nhận diện khuôn mặt, các layer thấp học cạnh, layer giữa học mắt / mũi / miệng, layer cao học khuôn mặt.

Pipeline DL ngắn hơn ML cổ điển:

raw data (pixel, token)
   │
   ▼
[ deep neural network: nhiều layer ]   ← tự học feature + mapping
   │
   ▼
prediction

Cụm "deep" chỉ độ sâu (số layer). Một model 2 layer thường được coi là shallow; từ vài layer trở lên đã được gọi là deep. CNN hiện đại như ResNet-50 có 50 layer, các LLM lớn có hàng trăm layer Transformer.

Cả hai đều là ML — đều có data, model có tham số, loss function, optimizer (Series 1, Series 2). Khác biệt nằm ở vai trò của feature engineering và quy mô model.

4.1. Bảng so sánh

4.2. Vì sao "tự học feature" lại quan trọng

Với bài toán nhận diện chữ viết tay (MNIST), ML cổ điển cần feature như "tỉ lệ pixel trắng / đen ở vùng nào", "số nét gãy", "hướng nét chính". Mỗi feature là một công sức nghiên cứu domain. Với CNN, ta đưa thẳng pixel vào model, mạng tự học cạnh ở layer 1, học hình dạng ở layer 2, học chữ số ở layer cuối. Domain expertise được thay bằng compute + data + kiến trúc tốt.

Trade-off rõ ràng: DL đẩy gánh nặng từ thiết kế feature sang chuẩn bị data lớn + compute. Lợi hay không tùy bài toán cụ thể.

Ý tưởng neural network có từ thập niên 1950 (Perceptron, Rosenblatt 1958), backpropagation từ 1986 (Rumelhart, Hinton, Williams). Vậy vì sao tới ~2012 DL mới bùng nổ? Đáp án: bốn yếu tố cùng chín muồi.

5.1. Data

• ImageNet (2009) — dataset 14 triệu ảnh có nhãn do Fei-Fei Li khởi xướng. Đây là lần đầu DL có đủ data để train model thật sự deep cho ảnh.
• Internet text — Common Crawl, Wikipedia, GitHub, sách số hóa. Sau này thành nhiên liệu cho LLM.
• Smartphone phổ cập từ ~2010 sinh ra lượng ảnh, video, log hành vi rất lớn.

5.2. Compute

• GPU (CUDA, 2007) — NVIDIA mở CUDA cho lập trình tổng quát trên GPU. GPU vốn thiết kế cho đồ họa cực kỳ phù hợp với phép nhân ma trận — phép toán cốt lõi của neural network.
• TPU (Google, 2016) — chip chuyên dụng cho ML, tăng throughput cho training và inference.
• Cloud (AWS, GCP, Azure) cho thuê GPU theo giờ, hạ rào cản đầu tư phần cứng.

5.3. Algorithm

• ReLU activation — Nair & Hinton (2010) chỉ ra ReLU giảm vanishing gradient, train sâu hơn được. Series 3 Bài 6 sẽ deep dive.
• Dropout — Srivastava et al. (2014) — regularization mạnh, giảm overfitting.
• Batch Normalization — Ioffe & Szegedy (2015) — ổn định training, tăng tốc convergence.
• Adam optimizer — Kingma & Ba (2015) — optimizer thực dụng, "drop-in" hoạt động tốt với hầu hết bài toán.
• Transformer — Vaswani et al. (2017), "Attention Is All You Need" — kiến trúc nền cho LLM hiện đại.

5.4. Software

• TensorFlow (Google, 2015) — framework DL phổ thông đầu tiên có ecosystem mạnh.
• PyTorch (Facebook AI, 2016) — define-by-run, debug như code Python thường, trở thành lựa chọn mặc định trong research từ ~2019. Series 3 dùng PyTorch.
• Hugging Face Transformers (2018) — chuẩn hóa pretrained model, đẩy nhanh ứng dụng NLP.

Tóm tắt: không phải neural network đột nhiên thông minh hơn. Mà là khi có đủ ImageNet, GPU CUDA, ReLU/Adam và PyTorch/TensorFlow cùng lúc, các kiến trúc cũ mới train được tới quy mô đủ lớn để vượt ML cổ điển.

Ba sự kiện đánh dấu DL trở thành lực lượng chính trong ML — fact-based, có source verify được.

6.1. 2012 — AlexNet trên ImageNet

Krizhevsky, Sutskever, Hinton (2012) train CNN trên ImageNet với 2 GPU GTX 580. AlexNet giảm top-5 error trên ILSVRC từ ~26.2% (best ML cổ điển 2011) xuống 15.3%. Khoảng cách này lớn tới mức cộng đồng computer vision chuyển gần như toàn bộ sang DL chỉ trong vài năm.

6.2. 2016 — AlphaGo thắng Lee Sedol

DeepMind dùng kết hợp deep neural network + Monte Carlo Tree Search + reinforcement learning. AlphaGo thắng 4-1 trước Lee Sedol — kỳ thủ Go 9 dan. Đây là bài toán search space lớn (gấp nhiều lần cờ vua) mà cộng đồng AI từng dự đoán còn cần ít nhất 10 năm nữa mới giải được.

6.3. 2017 — Transformer

Vaswani et al. công bố "Attention Is All You Need" (arXiv 1706.03762). Kiến trúc Transformer bỏ hoàn toàn RNN, dùng self-attention. Đây là nền tảng cho BERT (2018), GPT-2 (2019), GPT-3 (2020), ChatGPT (2022) và toàn bộ LLM ngày nay — đối tượng chính của Series 4.

Ba mốc này không có nghĩa "DL giải mọi bài toán". Nó cho thấy DL vượt qua được những bài toán mà ML cổ điển không xử lý nổi ở từng domain cụ thể: ảnh, game phức tạp, ngôn ngữ tự nhiên.

Quy tắc thực dụng: thử ML cổ điển trước nếu input là tabular. DL không phải là "bản nâng cấp" của ML cổ điển; chúng phù hợp với loại data và ràng buộc khác nhau.

7.1. Nên dùng Deep Learning khi

• Có nhiều data — thường từ 10.000 sample trở lên với input phức tạp. Với pretrained model (transfer learning), ngưỡng này có thể thấp hơn.
• Input là image, text, audio, video — những dạng raw không có feature thủ công tốt.
• Cần end-to-end training: đưa raw input vào, ra output cuối — bỏ luôn bước feature engineering.
• Có GPU sẵn (Colab miễn phí, GPU cloud, hoặc máy có card NVIDIA).
• Bài toán đã có pretrained model phù hợp (ResNet cho ảnh, BERT/Llama cho text) — chỉ cần fine-tune.

7.2. Nên dùng ML cổ điển khi

• Data ít — vài trăm đến vài nghìn sample. DL gần như chắc chắn overfit.
• Input là tabular structured: cột tuổi, thu nhập, số phòng, ... Tree-based model (XGBoost, LightGBM, CatBoost) thường mạnh hơn DL trên tabular. Grinsztajn et al. (2022) đã benchmark hơn 45 dataset tabular và kết luận tree-based vẫn vượt DL ở hầu hết trường hợp.
• Cần interpretability — báo cáo cho stakeholder, audit, compliance trong tài chính / y tế. Logistic Regression và Decision Tree dễ giải thích.
• Yêu cầu latency thấp, chạy trên thiết bị edge — model nhỏ.
• Không có GPU; cần train và iterate nhanh trên laptop.

Lưu ý quan trọng: nhiều project industry vẫn dùng ML cổ điển + feature engineering tốt chứ không chuyển sang DL. Đặc biệt trong fraud detection, credit scoring, churn prediction trên dữ liệu tabular.

Preview — Series 3 sẽ deep dive từng họ. Ở đây chỉ giới thiệu để bạn có map tổng quan.

8.1. MLP — Multi-Layer Perceptron

Kiến trúc vanilla: chồng các nn.Linear + activation. Dùng cho tabular data và làm baseline. Đối tượng chính của Module 1 trong Series 3.

8.2. CNN — Convolutional Neural Network

Dùng convolution để khai thác tính cục bộ không gian: pixel gần nhau có quan hệ. Ứng dụng: image classification, object detection, segmentation, video, audio spectrogram. Module 4 trong Series 3.

8.3. RNN, LSTM, GRU

Xử lý dữ liệu chuỗi (sequential): time series, text, audio. LSTM (Hochreiter & Schmidhuber, 1997) và GRU giải quyết vanishing gradient của vanilla RNN. Trước Transformer, đây là kiến trúc chuẩn cho NLP. Module 5 trong Series 3.

8.4. Transformer

Kiến trúc dùng self-attention thay cho recurrence. Vượt RNN/LSTM ở NLP từ ~2018, sau đó lan sang vision (ViT, 2020), multimodal (CLIP, GPT-4V). Foundation cho mọi LLM hiện đại. Series 4 sẽ deep dive.

8.5. Generative model — GAN, VAE, Diffusion

Sinh dữ liệu mới (ảnh, âm thanh, text):

• GAN (Goodfellow et al., 2014) — Generator vs Discriminator.
• VAE (Kingma & Welling, 2013) — variational inference cho generative.
• Diffusion model — nền của Stable Diffusion, DALL-E. Series 4 sẽ học.

Module 6 Series 3 chỉ chạm tới Autoencoder và GAN intuition như cầu nối sang Series 4.

Bạn không cần học lại từ đầu — Series 1 và 2 đã chuẩn bị đủ. Check-list nhanh:

9.1. Toán

• Linear algebra — vector, matrix, phép nhân ma trận (Series 1 phần đại số tuyến tính).
• Calculus — đạo hàm, đạo hàm riêng, chain rule, gradient (Series 1, "Đạo hàm trực quan", "Gradient và backprop intuition").
• Probability — phân phối xác suất, MLE, expectation (Series 1).

Không cần thuộc lòng — chỉ cần hiểu trực giác đủ để follow code và đọc paper.

9.2. Code

• Python ở mức làm việc với class, function, module (Series 1 phần Python).
• NumPy — Series 1 đã dùng nhiều. PyTorch Tensor có API rất giống NumPy.
• PyTorch — Module 2 Series 3 sẽ dạy từ đầu.

9.3. Concept ML

• Loss và gradient descent (Series 1 B26-27 và Series 2).
• Train / val / test split, overfitting, regularization (Series 2).
• Metric: accuracy, precision/recall, MSE, MAE (Series 2).

Nếu cảm thấy gap ở phần nào, quay lại bài tương ứng ở Series 1-2 sẽ tiết kiệm thời gian hơn là đoán.

10.1. Học DL có cần máy mạnh không

Phụ thuộc giai đoạn:

• MLP nhỏ trên tabular / MNIST: CPU laptop bình thường đủ. Module 1-2 Series 3 chạy được trên Macbook M1 hoặc laptop có 8GB RAM.
• CNN trên CIFAR-10, fine-tune ResNet: GPU gần như bắt buộc. CPU có thể train được nhưng mất hàng giờ thay vì vài phút.
• Transformer / LLM: cần GPU lớn (VRAM 24GB trở lên) hoặc multi-GPU. Học trong khuôn khổ Series 3-4 chủ yếu là fine-tune hoặc inference pretrained, không phải train from scratch.

10.2. GPU miễn phí và GPU thuê

• Google Colab Free — Tesla T4 hoặc tương đương, ~12GB VRAM, có giới hạn thời gian. Đủ cho phần lớn ví dụ Series 3.
• Kaggle Notebooks — 30 giờ GPU / tuần, P100 hoặc T4.
• Colab Pro / Pro+ — GPU mạnh hơn (V100, A100 tùy thời điểm), trả phí hàng tháng.
• AWS, GCP, Azure — thuê GPU theo giờ, phù hợp project lớn. Tốn ~0.5-3 USD / giờ tùy GPU.
• Lambda Labs, Vast.ai, RunPod — GPU cloud chuyên cho ML, thường rẻ hơn AWS.

Khuyến nghị cho người mới: bắt đầu với Colab Free, chỉ trả phí khi thực sự gặp giới hạn.

Series 3 gồm 44 bài chia thành 6 module. Tổng thời lượng ước tính 10-12 tuần với nhịp 4-5 bài / tuần.

1. Module 1 — Nền tảng ANN (B1-11). Từ Perceptron, MLP, forward propagation, activation function (Sigmoid, ReLU, Tanh, Softmax), loss function (MSE, MAE, Cross-Entropy), tới backpropagation.
2. Module 2 — PyTorch (B12-20). Framework chính: Tensor, GPU/CUDA, Autograd, nn.Module, optimizer (SGD, Adam), training loop, Dataset/DataLoader, weight initialization (Xavier, He).
3. Module 3 — Regularization & Optimization (B21-26). Dropout, Batch Normalization, Early Stopping, Learning Rate Scheduling, Data Augmentation.
4. Module 4 — CNN cho ảnh (B27-33). Convolutional layer, pooling, flatten, build CIFAR-10 classifier, transfer learning với ResNet, overview VGG / ResNet / EfficientNet.
5. Module 5 — RNN cho chuỗi (B34-40). Vanilla RNN, vanishing gradient, LSTM, GRU, time series, sequence-to-sequence intuition.
6. Module 6 — Generative foundation (B41-44). Autoencoder, Denoising Autoencoder, VAE intuition, GAN intuition — cầu nối sang Series 4.

Sau Series 3: Series 4 (LLM & Generative AI) sẽ deep dive Transformer, prompt engineering, RAG, fine-tune, agent. Series 5-6 cho project portfolio và deploy production.

Để không thổi phồng, cần nắm rõ những giới hạn cốt lõi của DL:

• Data hungry — DL từ đầu cần dataset rất lớn. Transfer learning + pretrained model giảm đáng kể vấn đề này nhưng không xóa hết.
• Compute đắt — train từ đầu một CNN cỡ vừa có thể tốn vài chục GPU-giờ; train LLM tốn hàng triệu USD. Inference cũng tốn hơn ML cổ điển nhiều lần.
• Black box — khó giải thích model dự đoán dựa trên cái gì. Có XAI tools (SHAP, Grad-CAM, attention visualization) nhưng vẫn yếu hơn Decision Tree hoặc Logistic Regression.
• Adversarial example — Goodfellow et al. (2014) chỉ ra việc thay đổi vài pixel theo hướng gradient có thể khiến CNN phân loại sai hoàn toàn dù ảnh nhìn không khác với mắt người.
• Bias trong data → bias trong model — model học cả thiên kiến trong training data. Vấn đề đã được ghi nhận trong nhận diện khuôn mặt (sai số cao hơn với người da màu), tuyển dụng, scoring tín dụng.
• Out-of-distribution — model train trên domain A thường kém khi gặp domain B chưa thấy.
• DL không phải "AI thực sự" — vẫn là statistical pattern matching ở quy mô lớn. Không có suy luận nhân quả, không có "hiểu" theo nghĩa con người. Hiểu giới hạn này giúp bạn không kỳ vọng sai khi dùng vào ứng dụng quan trọng (y tế, pháp lý, tài chính).

DL mạnh ở một số bài toán cụ thể (vision, NLP, audio) nhưng không phải công cụ vạn năng. Mỗi bài toán có ràng buộc riêng — cần data nào, cần latency bao nhiêu, cần giải thích tới mức nào — và DL chỉ là một lựa chọn trong toolbox.

Những ứng dụng đang được giải bằng DL trong industry — fact-based, đã triển khai production:

13.1. Computer vision

• Phân loại ảnh (image classification), object detection (YOLO, Faster R-CNN), segmentation (U-Net, Mask R-CNN).
• OCR — đọc văn bản từ ảnh (Tesseract LSTM, PaddleOCR).
• Face recognition, face verification (FaceNet, ArcFace).
• Phân tích ảnh y khoa: X-quang, MRI, CT.

13.2. NLP

• Machine translation (Google Translate, DeepL — Transformer based).
• Sentiment analysis, topic classification, NER.
• Summarization, question answering.
• Chatbot, virtual assistant (ChatGPT, Claude, Gemini — LLM).

13.3. Audio

• Speech-to-text (Whisper, Google Speech).
• Text-to-speech (Tacotron, VITS).
• Music generation, source separation.

13.4. Multimodal

• Image captioning — sinh mô tả cho ảnh.
• Visual Question Answering (VQA).
• GPT-4V, Claude with vision — input đa dạng text + image.
• Stable Diffusion, DALL-E — text-to-image.

Lưu ý: nhiều ứng dụng dùng pretrained model + fine-tune chứ không train from scratch. Đây là pattern phổ thông trong industry.

Để thấy DL "thật" trông như thế nào — đây là một MLP đơn giản cho MNIST (chữ số viết tay 28x28 = 784 pixel, 10 lớp 0-9):

# Hello DL: MLP 1 hidden layer cho MNIST
import torch
import torch.nn as nn

# 1. Định nghĩa model bằng nn.Sequential
model = nn.Sequential(
    nn.Linear(784, 128),   # input layer: 784 pixel -> 128 neuron ẩn
    nn.ReLU(),             # activation phi tuyến
    nn.Linear(128, 10),    # output layer: 10 lớp
)

# 2. Loss và optimizer
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)

# 3. Forward thử với 1 batch giả lập
x = torch.randn(32, 784)   # 32 ảnh, mỗi ảnh flatten thành 784
logits = model(x)          # shape (32, 10)
print(logits.shape)        # torch.Size([32, 10])

Vài quan sát so với "Hello ML" của Series 2:

• Model được khai báo bằng cách chồng layer (nn.Linear, nn.ReLU) thay vì gọi một class duy nhất như LogisticRegression.
• Có activation phi tuyến (nn.ReLU) — nếu bỏ ReLU, mạng chỉ còn là một phép biến đổi tuyến tính, không khác Logistic Regression.
• Training loop phải tự viết (gọi loss.backward(), optimizer.step()) — không có fit() như sklearn. Module 2 Series 3 (B18) sẽ viết training loop đầy đủ.
• Input đã được flatten (28x28 -> 784). Khi sang CNN (Module 4) sẽ giữ nguyên cấu trúc không gian 2D.

Bài 16 (nn.Module) và Bài 18 (training loop) sẽ chạy ví dụ này tới epoch cuối, đo accuracy trên test set.

Bài tập không cần code — chỉ tư duy và viết ra giấy.

15.1. Chọn DL hay ML cổ điển cho 5 bài toán

Với mỗi bài toán dưới đây, chọn DL hoặc ML cổ điển và viết 1-2 câu giải thích dựa trên: loại input, lượng data ước tính, yêu cầu interpretability, latency:

1. Image classification — phân loại ảnh sản phẩm trên một sàn TMĐT thành 200 nhóm, có 500.000 ảnh đã gắn nhãn.
2. Customer churn — dự đoán khách hàng viễn thông có hủy gói cước trong 30 ngày tới hay không, dataset 50.000 dòng, 35 cột tabular.
3. Time series forecasting — dự báo doanh thu 30 ngày tới cho 5.000 cửa hàng, 3 năm dữ liệu hàng ngày.
4. Sentiment analysis — phân loại review tiếng Việt thành tích cực / tiêu cực / trung lập, 30.000 review có nhãn.
5. Fraud detection — phát hiện giao dịch gian lận trong ngân hàng, dữ liệu tabular 20 triệu giao dịch / tháng, tỉ lệ fraud ~0.1%, cần real-time inference < 50ms.

Gợi ý đáp án (xem sau khi tự làm):

1. DL (CNN, có thể fine-tune ResNet hoặc EfficientNet). Image + data lớn + 200 lớp.
2. ML cổ điển — XGBoost / LightGBM. Tabular, dữ liệu vừa, cần interpretability cho team kinh doanh.
3. Kết hợp được: ML cổ điển (Prophet, ARIMAX, gradient boosting) thường mạnh hơn DL cho time series doanh thu trừ khi có rất nhiều cửa hàng cùng share pattern. Có thể thử cả hai.
4. DL (Transformer fine-tune từ PhoBERT hoặc XLM-R) sẽ vượt ML cổ điển trên ngôn ngữ tự nhiên ở quy mô data này.
5. ML cổ điển — XGBoost với feature engineering tốt + class imbalance handling (Series 2 B "class imbalance smote"). Latency 50ms khó đạt với DL lớn; interpretability quan trọng vì có audit và compliance.

15.2. Khi nào tabular nên dùng XGBoost thay vì NN

Liệt kê ít nhất 3 tiêu chí cụ thể (không trùng các tiêu chí đã nêu trong section 7) để quyết định chọn XGBoost / LightGBM thay vì MLP cho bài toán tabular. Gợi ý: nghĩ về missing value, categorical feature, training time, hyperparameter tuning, monotonic constraint.

Bài 2: Perceptron — đơn vị tính toán cơ bản nhất — đi từ neuron sinh học tới perceptron của Rosenblatt (1958), công thức weighted sum + bias + activation, và vì sao một perceptron không giải được XOR.