Bài 42: Specialization sau 1-2 năm: ML, MLOps, LLM, AI Research, AI Product

Sau bài này, bạn sẽ:

• Hiểu khi nào nên chuyển từ generalist sang specialist
• Biết sự khác biệt thực tế (không phải trên paper) giữa 5 hướng specialization
• Có framework để tự đánh giá và chọn hướng phù hợp
• Biết các pitfalls phổ biến khi specialize
• Có kế hoạch hành động cụ thể cho 1-5 năm tiếp theo

Giai đoạn đầu: generalist là đúng

Năm đầu tiên làm AI Engineer, việc học rộng — thử nhiều loại bài toán, nhiều tech stack, nhiều domain — là phù hợp. Bạn chưa đủ dữ liệu để biết mình giỏi cái gì và thích cái gì nhất.

Sau 1-2 năm: generalist mãi bắt đầu có cost

Thị trường phân tầng rõ ràng theo level và depth. Senior AI Engineer không chỉ làm được nhiều thứ — họ làm rất tốt một vài thứ cụ thể. Recruiter tìm kiếm theo keyword specialization (ví dụ: "Senior LLM Engineer", "Staff MLOps Engineer"), không tìm "AI Engineer biết mọi thứ".

Một số quan sát thực tế:

• Người specialize sớm (18-24 tháng) thường được promote hoặc job-hop lên senior level nhanh hơn người giữ generalist đến 3-4 năm.
• Salary ceiling của generalist thấp hơn specialist cùng số năm kinh nghiệm — vì generalist khó demonstrate unique value trong vòng phỏng vấn.
• Specialist dễ được nhắc đến khi có bài toán cụ thể: "Cần người làm RAG — gọi X".

Specialize không có nghĩa là biết mỗi 1 thứ

Specialist vẫn cần foundation rộng. Sự khác biệt là họ có depth nổi bật ở 1 hướng, đủ để giải quyết vấn đề khó mà generalist không làm được hoặc mất nhiều thời gian hơn nhiều.

A. Classical ML Engineer

Tabular data, recommendation, fraud detection, churn prediction, ranking. Bài toán có dữ liệu có cấu trúc (structured), cần feature engineering và model tốt trên thực tế, không nhất thiết cần deep learning.

Domain điển hình: fintech, e-commerce, ad tech, streaming.

B. MLOps / Platform Engineer

Xây dựng và vận hành infrastructure cho ML: training pipeline, model serving, monitoring, CI/CD cho model. Làm việc cross-functional — hỗ trợ các team ML khác ship model nhanh và ổn định hơn.

Domain điển hình: internal platform team, ML infra team.

C. LLM Engineer / AI Application Engineer

Xây dựng ứng dụng dùng LLM: RAG system, agentic workflow, copilot, chatbot. Kết hợp prompt engineering, retrieval, fine-tuning, và evaluation. Hướng này có growth rate cao nhất 2024-2025.

Domain điển hình: mọi công ty đang tích hợp AI feature.

D. AI Researcher

Nghiên cứu model mới, cải thiện algorithm, publish paper. Làm việc trong research lab (industry hoặc academia). Đòi hỏi math nền tảng sâu và thường cần PhD hoặc track record publication.

Domain điển hình: DeepMind, Anthropic, Meta FAIR, Google DeepMind, OpenAI, university lab.

E. AI Product Engineer / Founding Engineer

Kết hợp AI engineering với product thinking. Không chỉ build model — build sản phẩm có AI. Cần hiểu user, iterate nhanh, và giao tiếp tốt với non-technical stakeholder. Rất được tìm kiếm trong AI startup 2024-2025.

Domain điển hình: early-stage AI startup, AI product team tại Big Tech.

Dưới đây là ước tính phân bổ thời gian điển hình trong một tuần làm việc. Con số mang tính tham khảo — thực tế khác nhau theo team và company.

Nhận xét thực tế:

• Nếu bạn thích ngồi code và experiment thuần túy, AI Researcher phân bổ thời gian research nhiều nhất — nhưng entry barrier cũng cao nhất.
• Nếu bạn thích giải quyết vấn đề infra và làm enabler cho team khác, MLOps là hướng tự nhiên.
• LLM Engineer và Classical ML Engineer đều code nhiều — sự khác biệt là loại bài toán và stack khác nhau.
• AI Product Engineer phù hợp nếu bạn enjoy gặp gỡ user, thảo luận về product, và thấy shipping feature thú vị hơn optimize benchmark.

Skills ưu tiên

• Statistics và hypothesis testing — A/B test, confidence interval, causal inference cơ bản.
• Feature engineering cho tabular data — encoding, imputation, aggregation feature.
• Tree-based model: XGBoost, LightGBM — tuning, early stopping, feature importance.
• Deep tabular (newer trend): TabNet, FT-Transformer (Gorishniy et al., arXiv 2021).
• SQL thành thạo + Pandas — data exploration nhanh là prerequisite.
• Experimentation framework và offline/online metric alignment.

Career path điển hình

Junior ML Engineer → Senior ML Engineer → Staff ML Engineer → Principal / ML Architect.

Specialty có thể deepen thêm: recommender system, fraud & risk, churn & retention, search ranking.

Companies thường hire

• E-commerce: Amazon, Shopee, Tiki, Lazada — recommendation và ranking là core business.
• Fintech: Stripe, Momo, ZaloPay, VPBank, MB Bank — fraud detection, credit scoring.
• Ad tech: Meta, Google, TikTok — click-through rate prediction.
• Streaming: Netflix, Spotify — content recommendation.

Salary tham khảo (US onsite)

• Junior: ~$180k total compensation.
• Senior: ~$300–400k.
• Staff: $500k+.

VN local: xem bài 39 để có range VND theo level.

Thực tế cần biết

Classical ML Engineer có bài toán ít "hype" hơn LLM nhưng business impact thường rất đo được (revenue lift, fraud reduction rate). Nhiều team vẫn dùng XGBoost trong production 2025 vì nó stable, interpretable, và đủ tốt.

Skills ưu tiên

• Container và orchestration: Docker, Kubernetes.
• Infrastructure as code: Terraform, Pulumi.
• CI/CD: GitHub Actions, GitLab CI — cho model pipeline.
• Model serving: Triton Inference Server, TorchServe, KServe (trên Kubernetes).
• Monitoring: Prometheus, Grafana — latency, throughput, drift detection.
• ML platforms: MLflow (experiment tracking), Kubeflow (pipeline), Airflow (scheduling).
• Cloud: AWS SageMaker, GCP Vertex AI, Azure ML — ít nhất 1 provider thành thạo.
• Python + Go hoặc Python + Bash — nhiều MLOps tool dùng Go ở layer infra.

Career path điển hình

DevOps / SRE background → MLOps Engineer → Senior MLOps → ML Platform Lead / ML Infra Architect.

Đây là cross-functional enabler role — bạn làm việc với nhiều team ML khác nhau thay vì chỉ 1 product area.

Demand và supply 2024-2025

Demand rất cao nhưng supply ít hơn so với ML Engineer thuần. Lý do: skill set overlap giữa SWE, DevOps, và ML — không nhiều người có đủ cả ba. Điều này tạo ra salary premium.

Salary tham khảo (US onsite)

• Senior MLOps thường cao hơn Senior ML Engineer thuần 10-20% cùng level.
• Senior MLOps: ~$350–500k.
• Staff ML Infra: $500k+.

Thực tế cần biết

MLOps Engineer không chỉ "setup pipeline" — khi scale, bạn phải giải quyết vấn đề như: model versioning conflict, feature store latency, online/offline skew, rollback khi model regression. Đây là engineering problem khó, không chỉ ops.

Skills ưu tiên

• LangChain / LangGraph — chaining, agentic orchestration.
• Prompt engineering — few-shot, chain-of-thought, structured output.
• RAG architecture: chunking strategy, embedding model, vector DB (Chroma, Weaviate, pgvector), reranking.
• Fine-tuning hiệu quả: PEFT, LoRA (Hu et al., arXiv 2021) — biết khi nào cần fine-tune vs prompting đủ.
• Evaluation framework: Ragas, TRULENS, hoặc custom eval pipeline — không chỉ vibe-test.
• Multi-agent systems: tool use, memory, planning pattern.
• LLM serving tốc độ: vLLM, llama.cpp — hiểu batching và throughput optimization.

Career path điển hình

LLM Engineer → Senior LLM Engineer → Tech Lead AI Applications.

Sub-specialty: enterprise search, customer support automation, developer tools (copilot), document processing.

Demand 2024-2025

Cao nhất trong tất cả các hướng tính theo job posting growth rate. Mọi công ty từ startup đến enterprise đều đang build AI feature — và phần lớn là LLM-based. Tuy nhiên, vì entry barrier thấp hơn (không cần PhD), competition cũng cao hơn ở junior level.

Differentiation ở senior level: khả năng build production-grade evaluation, xử lý hallucination systematically, và architecture multi-agent system phức tạp.

Salary tham khảo (US onsite)

• Junior LLM Engineer: $150–200k.
• Senior LLM Engineer: $350–550k.
• Founding LLM Engineer tại startup: equity-heavy package.

Thực tế cần biết

LLM stack thay đổi nhanh — framework có thể bị deprecated hoặc thay thế trong 12-18 tháng. Nền tảng bền vững hơn là: hiểu cách LLM hoạt động (tokenization, attention, decoding), biết evaluation methodology, và có kinh nghiệm debug production LLM failure. Stack cụ thể có thể học lại, nhưng kinh nghiệm reasoning về system behavior thì không.

Skills ưu tiên

• Deep math: linear algebra, calculus, probability — không phải biết dùng, mà biết prove và reason.
• Paper reading hiệu quả — extract contribution, limitations, reproduce kết quả.
• Experimentation rigor: ablation study, statistical testing, reproducibility.
• Expertise trong ít nhất 1 area: NLP, Computer Vision, Reinforcement Learning, foundation model architecture.
• PyTorch (dominant ở research) + JAX (growing, dùng nhiều tại Google / DeepMind).
• Paper writing — IEEE/ACM format, relate work survey, rebuttal skill.

Career path điển hình

PhD (thường 4-6 năm) → Research Scientist intern → Junior Research Scientist → Senior RS → Principal RS / Distinguished Researcher.

Industry path: Research Engineer (less paper, more code + experiment) là alternative không cần PhD nhưng cần track record project mạnh.

Companies thường hire

• Industry research lab: DeepMind, Anthropic, OpenAI, Meta FAIR, Google Brain (nay merged vào Google DeepMind), Microsoft Research.
• Academia: NeurIPS / ICML / ICLR top paper → assistant professor / postdoc path.

Salary tham khảo (US)

• Junior Research Scientist: $250–400k.
• Senior RS (có publication track record): $500–900k.
• Principal / Distinguished: $1M+ ở top lab.

Thực tế cần biết

Đây là path khó nhất để vào nếu bạn không có PhD hoặc publication. Hầu hết research lab yêu cầu PhD cho Research Scientist role. Ngoại lệ tồn tại nhưng rất ít — thường là người có open-source contribution nổi bật hoặc paper trước khi PhD.

Nếu bạn trái ngành và muốn research, applied research engineer là đường thực tế hơn: bạn làm experiment và code nhiều, không nhất thiết phải publish, nhưng vẫn được làm việc với research team.

Skills ưu tiên

• AI engineering foundation: đủ để build và deploy LLM app, không cần depth như LLM specialist.
• Product sense: hiểu user problem, prototype nhanh, measure usage.
• Frontend: React / Next.js — để ship demo hoặc MVP không cần chờ frontend team.
• Fast iteration mindset: ship xấu nhưng nhanh để validate, rồi refine.
• Communication: giải thích AI capability và limitation cho non-technical founder / PM / investor.

Career path điển hình

AI Engineer → AI Product Engineer → Founding Engineer tại startup → CTO startup.

Lateral move: sang product manager với AI focus — nếu bạn thích product nhiều hơn code.

Demand 2024-2025

AI startup số lượng tăng mạnh kể từ 2023. Founding engineer tại AI startup thường chỉ cần 2-5 engineer cho team đầu tiên — demand cho AI Product Engineer type rất cao. Big Tech cũng có AI product team cần loại profile này.

Salary và equity tham khảo

• Founding engineer tại seed/Series A startup: $150–250k base + 0.5–2% equity (vested 4 năm).
• Big Tech AI product team: $300–500k total compensation.

Equity tại startup phụ thuộc nhiều vào outcome — upside cao nhưng most startup không exit.

Thực tế cần biết

Founding Engineer role không chỉ là kỹ thuật. Bạn thường phải làm on-call, viết docs, interview engineer mới, và đôi khi nói chuyện với khách hàng. Nếu bạn muốn tập trung 100% vào technical depth, đây không phải role phù hợp.

Step 1 — Self-assessment

Trả lời thật, không trả lời theo "nghe có vẻ ngầu":

• Khi nào bạn vào trạng thái flow? Lúc debug infra problem, hay lúc design product feature, hay lúc đọc paper và implement?
• Math depth của bạn so với coding depth — cái nào mạnh hơn?
• Bạn có muốn làm PhD không? (Honest answer, không phải aspirational.)
• Risk tolerance: research là horizon dài (3-5 năm mới biết mình đúng hay sai). Startup là rủi ro cao, reward không chắc chắn.

Step 2 — Career experiment (trong năm đầu đi làm)

Chủ động nhận project từ nhiều loại công việc khác nhau — không đợi bị assign. Sau mỗi project, ghi chú:

• Cảm thấy thế nào khi làm? (Energized vs drained?)
• Bạn chủ động đọc thêm về topic này không?
• Kết quả nhận được từ team như thế nào?

Tín hiệu flow và recognition tốt hơn interest surface-level.

Step 3 — Network conversation

Nói chuyện với ít nhất 3-5 người đang làm ở mỗi hướng bạn đang cân nhắc. Hỏi:

• "Mô tả cho mình nghe 1 tuần làm việc của bạn trông như thế nào?"
• "Điều gì khiến bạn thấy khó chịu nhất trong role này?"
• "Nếu bạn không làm role này, bạn sẽ làm gì?"

Step 4 — Bet 6-12 tháng

Chọn 1 hướng và đầu tư depth trong 6-12 tháng: side project nổi bật, blog post kỹ thuật, open source contribution, hoặc internal leadership trên bài toán liên quan. Mục tiêu: tạo credibility marker rõ ràng.

Step 5 — Re-evaluate, không sợ pivot

Sau 6-12 tháng, đánh giá lại: bạn giỏi hơn không? Thích hơn không? Thị trường recognizes bạn theo hướng này không? Nếu 2/3 câu trả lời là có — tiếp tục deepen. Nếu không — pivot sang hướng khác, không cần xem đó là thất bại.

Entry barrier theo hướng

Lộ trình đề xuất cho người trái ngành

• Năm 1: Generalist AI Engineer — apply job với CV từ Series 6, ship feature đầu tiên, học rộng trong team.
• Năm 2: Specialize LLM Engineer hoặc AI Product Engineer — entry barrier thấp, demand cao, có thể demo impact nhanh.
• Năm 3+: Deepen trong hướng đã chọn. Nếu muốn switch sang Classical ML hoặc MLOps, năm 3 là thời điểm hợp lý — đã có foundation AI engineering đủ vững.

Leverage prior career

Người trái ngành có lợi thế thực sự ở AI Product Engineer — nếu bạn từng làm finance, bạn hiểu domain fintech sâu hơn fresh CS graduate. Đây là competitive moat mà người học CS thẳng không có.

Domain knowledge + AI skill = giá trị cao hơn average AI engineer trong domain đó.

• Chọn specialization dựa trên salary là tiêu chí duy nhất. Salary cao mà không thích làm → burnout trong 12-18 tháng, resign, mất luôn cả career trajectory lẫn mental energy.
• Switch specialization mỗi 6 tháng. Depth không build được khi bạn cứ restart. Recruiter nhìn vào CV thấy không có hướng rõ ràng → khó get senior role.
• Vẫn generalist sau 3 năm. Senior salary ceiling bị cap vì không demonstrate unique expertise ở bất kỳ hướng nào.
• Specialize quá narrow vào một tool cụ thể. Ví dụ: "BERT expert" 2025 nghe lạc hậu. Specialize theo capability và problem type — không phải theo tên model hoặc library version.
• Ignore product/business sense. Kể cả researcher thuần cũng cần hiểu tại sao bài toán mình đang làm quan trọng với business. Người tách biệt hoàn toàn kỹ thuật khỏi business context thường khó promote lên Staff/Principal.

Lịch sử gần đây cho thấy gì

• 2020-2022: NLP với BERT, GPT-2, classical ML còn dominant ở production.
• 2022-2023: GPT-3/4, ChatGPT — LLM era bắt đầu, prompt engineering nổi lên.
• 2023-2024: RAG mainstream, LangChain phổ biến, agent system đầu tiên.
• 2024-2025: Multi-agent, multimodal, reasoning model (o1, Gemini Flash Thinking), inference-time compute scaling.
• 2026+: Chưa chắc — tiếp tục theo dõi signal thực tế.

Chiến lược bền vững

Deep foundation + flexible top layer.

Foundation ít thay đổi: hiểu cách model học (gradient descent, loss, backpropagation), biết đánh giá model (metrics, bias, distribution shift), biết engineer system (API, latency, reliability). Foundation này có giá trị 5-10 năm.

Top layer thay đổi: framework, model architecture cụ thể, tooling. Học nhanh khi cần, không lo vì bạn đã có foundation để tiếp thu nhanh.

Người chỉ học top layer mà không có foundation là người bị "thay thế" khi landscape shift. Người có foundation sẽ adapt và tiếp tục có giá trị.

Roadmap AI Engineer gồm 6 series, xây từ foundation đến career-ready:

Mỗi series build trên series trước. Không có shortcut bền vững — người bỏ qua math thường gặp khó khi cần debug model behavior hay đọc paper. Người bỏ qua deployment thường có portfolio chỉ chạy local.

1-3 tháng tới

• Apply jobs — portfolio đã có, bắt đầu apply ngay, không cần "perfect".
• Build thêm 1-2 capstone nếu portfolio chưa đủ mạnh cho target role.
• Network chủ động: kết nối LinkedIn với AI engineer, tham gia meetup, Discord community.
• Iterate CV và portfolio dựa trên feedback từ recruiter screening.

3-12 tháng tới

• Land role AI Engineer đầu tiên — đây là milestone quan trọng nhất giai đoạn này.
• Ramp up nhanh trong 90 ngày đầu: đọc codebase, ship feature nhỏ sớm, build relationship với team.
• Tích lũy credibility nội bộ qua deliverable có đo lường được.

1-2 năm tới

• Chọn specialization theo framework ở bài này.
• Promote trong company hiện tại hoặc job-hop lên senior role.
• Bắt đầu viết blog kỹ thuật hoặc nói tại meetup — xây external profile.

3-5 năm tới

• Tech Lead hoặc Staff IC — influence không chỉ trong team mình.
• Open source contribution được community nhận ra.
• Mentor junior engineer — teaching là cách học lại hiệu quả nhất.

Reading habit

• Papers: arXiv daily digest (cs.LG, cs.CL, cs.AI), Hugging Face Daily Papers tổng hợp.
• Blogs kỹ thuật: Eugene Yan (applied ML), Hamel Husain (LLM production), Chip Huyen (ML systems).
• Newsletters: Latent Space, The Batch (DeepLearning.AI), AI Tidbits.
• Books (evergreen): "Designing Machine Learning Systems" (Chip Huyen, 2022), "Build a Large Language Model from Scratch" (Sebastian Raschka, 2024).

Practice habit

• 1 side project / quý — không cần lớn, đủ để touch 1 concept mới.
• 1 OSS PR / tháng — contribution nhỏ cũng được (doc fix, test, small bug).
• 1 blog post / 2 tháng — viết ra những gì đã học giúp consolidate hiểu biết.
• Đọc lại 1 paper nền tảng / năm (Attention is All You Need, ResNet, XGBoost paper) — mỗi lần đọc lại hiểu sâu hơn.

Community

• Conferences: NeurIPS, ICLR, ICML (research-heavy). MLOps World, AI Engineer Summit (applied).
• Discord / Slack: LangChain, Hugging Face community, LocalLLaMA (reddit + Discord).
• VN community: Vietnam AI Hub Discord, các meetup AI tại HCM và HN.
• YouTube: Andrej Karpathy (deep technical), Yannic Kilcher (paper walkthrough).

Mindset

AI là lĩnh vực có tốc độ thay đổi nhanh nhưng foundation thay đổi chậm. Đầu tư vào foundation (math, system design, engineering discipline) trả về lợi tức cao hơn đầu tư vào framework cụ thể. Framework thay đổi trong 12-18 tháng; foundation giúp bạn tiếp thu framework mới trong vài tuần.

Dùng checklist này để tự kiểm tra trước khi bắt đầu apply.

Portfolio

- [ ] 3-5 capstone project hoàn chỉnh
- [ ] Ít nhất 2 project có public URL (deployed, không chỉ code trên GitHub)
- [ ] README chuyên nghiệp cho mỗi project (problem, approach, result, demo)
- [ ] GitHub profile optimized (pinned repos, bio, contribution graph)

Skills

- [ ] Python thành thạo + ML basics (sklearn, pandas, numpy)
- [ ] Deep learning framework: PyTorch (ít nhất training loop + inference)
- [ ] LLM + RAG: đã build ít nhất 1 RAG app hoặc LLM-based feature
- [ ] Production deploy: Docker + cloud (AWS/GCP/Azure, ít nhất 1 service)

Job search

- [ ] CV đã được review (ít nhất 1 người trong ngành đọc và feedback)
- [ ] LinkedIn headline + summary optimized cho AI Engineer keyword
- [ ] Mock interview practiced: technical + behavioral
- [ ] Ít nhất 3 STAR stories chuẩn bị sẵn cho behavioral questions

Network

- [ ] 100+ LinkedIn connection trong AI/ML space
- [ ] Ít nhất 1 blog post hoặc LinkedIn post kỹ thuật published
- [ ] Ít nhất 1 OSS contribution (dù nhỏ) đang trong progress

Không cần tick tất cả trước khi apply — nhưng biết mình đang thiếu ở đâu thì biết cần làm gì tiếp theo.

Roadmap kết thúc tại đây. Series 1–6 đã cung cấp đủ foundation để bắt đầu career AI Engineer — từ toán nền, ML, deep learning, LLM, deployment cho đến portfolio và interview prep.

Phần còn lại là thực hành thực tế: apply, ship feature trong production, nhận feedback, iterate. Không có roadmap nào thay thế được kinh nghiệm thực tế trong môi trường làm việc thật.

Build, ship, learn, repeat.