Bài 1: AI Engineer thực chiến làm gì? Phân biệt vai trò với Data Scientist, ML Engineer, Data Analyst

Sau khi đọc bài này, bạn sẽ:

• Hình dung được công việc hàng ngày của AI Engineer ở các công ty product.
• Phân biệt cụ thể 4 vai trò: AI Engineer, Data Scientist, ML Engineer, Data Analyst qua input, output, công cụ và sản phẩm.
• Biết khi nào công ty thuê AI Engineer thay vì các vai trò khác.
• Đánh giá được background hiện tại của mình có gần với AI Engineer hay không.

AI Engineer (kỹ sư AI) là vai trò kỹ thuật chịu trách nhiệm tích hợp model AI có sẵn vào sản phẩm và xây dựng tính năng AI mà người dùng cuối thực sự sử dụng được.

Định nghĩa này xuất hiện rõ nét từ khoảng năm 2023, khi các foundation model (GPT-4, Claude, Llama, Gemini) trở nên đủ tốt để phần lớn doanh nghiệp không còn cần tự train model từ đầu. Thay vì train, công ty cần người biết:

• Gọi API của model (OpenAI, Anthropic, Google, hoặc self-host).
• Viết prompt phù hợp với từng tác vụ.
• Kết hợp model với dữ liệu nội bộ (RAG — Retrieval-Augmented Generation).
• Đo lường, debug và giảm chi phí của hệ thống AI.
• Deploy hệ thống lên production và giữ cho nó chạy ổn định.

Đây là phần lớn nhu cầu thị trường AI hiện tại — không phải nghiên cứu model mới, mà ứng dụng model có sẵn.

Thuật ngữ "AI Engineer" được Chip Huyen mô tả trong bài viết "Building LLM applications for production" (2023) và sau đó phổ biến qua sách "AI Engineering" (O'Reilly, 2024). Trước đó, công việc này thường nằm rải rác giữa Backend Engineer, ML Engineer, và Data Scientist.

Dưới đây là các nhóm việc thực tế thường xuất hiện trong sprint của AI Engineer ở công ty product (B2B SaaS, fintech, edtech, e-commerce, v.v.). Không phải ngày nào cũng làm cả 5 nhóm — phụ thuộc giai đoạn dự án.

3.1. Viết code tích hợp API model

Phần lớn thời gian là code Python (đôi khi TypeScript / Node.js cho backend web). Ví dụ tối giản:

from anthropic import Anthropic

client = Anthropic()

def tom_tat_email(noi_dung: str) -> str:
    """Gọi LLM để tóm tắt 1 email dài thành 3 gạch đầu dòng."""
    message = client.messages.create(
        model="claude-sonnet-4-5",
        max_tokens=300,
        messages=[
            {
                "role": "user",
                "content": (
                    "Tóm tắt email sau thành đúng 3 gạch đầu dòng tiếng Việt, "
                    "tập trung vào action items.\n\n"
                    f"Email:\n{noi_dung}"
                ),
            }
        ],
    )
    return message.content[0].text

Đây là phần "hello world" — production code sẽ có thêm retry, logging, tracing, validate input/output, cache, fallback.

3.2. Prompt engineering và đánh giá chất lượng

Khi feature mới hoạt động "có vẻ" đúng, AI Engineer phải chứng minh nó đúng bằng eval set — tập 50–500 ví dụ có nhãn đúng. Quy trình:

• Thu thập input thật từ user (hoặc tự viết).
• Tự gán đáp án mong muốn (ground truth).
• Chạy prompt nhiều lần, so sánh output với ground truth.
• Sửa prompt, đo lại, lặp.

Đây là điểm khác biệt lớn so với software thông thường: không có unit test boolean đúng/sai, mà là chất lượng đo bằng phần trăm.

3.3. Xây dựng pipeline RAG hoặc xử lý dữ liệu

Khi LLM cần trả lời dựa trên dữ liệu nội bộ (ví dụ: chatbot hỏi đáp tài liệu công ty), AI Engineer xây pipeline:

1. Đọc file (PDF, DOCX, Markdown, database) → chunk thành đoạn nhỏ.
2. Sinh embedding (vector biểu diễn) cho từng chunk.
3. Lưu vào vector database (Pinecone, Qdrant, pgvector, Weaviate, ...).
4. Khi user hỏi: tìm top-k chunk gần nhất → gửi vào prompt cùng câu hỏi.

3.4. Debug hành vi model

Một bug điển hình của AI app: "user hỏi giá sản phẩm, bot trả lời sai số tiền". AI Engineer cần xem:

• Prompt cuối cùng được gửi đi (sau khi nhúng context, system message, history) có chứa đúng số tiền hay không.
• Output thô của model như thế nào — có hallucinate (bịa số) hay không.
• Logic post-processing có làm méo kết quả không.

Công cụ thường dùng: LangSmith, LangFuse, Weights & Biases Weave, hoặc log raw vào storage rồi tự viết dashboard.

3.5. Tối ưu chi phí và độ trễ (latency)

Gọi LLM tốn tiền (theo token) và tốn thời gian (vài trăm ms tới vài giây). AI Engineer phải cân nhắc:

• Dùng model nhỏ (Haiku, gpt-4o-mini) khi tác vụ đơn giản, model lớn khi cần lập luận.
• Cache kết quả cho input lặp lại.
• Stream output để user thấy phản hồi sớm.
• Chạy song song nhiều request thay vì tuần tự.

Sự khác biệt cốt lõi: AI Engineer làm việc với hệ thống non-deterministic (không tất định).

Phần mềm truyền thống	AI application
Cùng input → cùng output	Cùng input có thể ra output khác nhau (do sampling, temperature)
Test boolean: pass / fail	Test thống kê: 87% đúng trên eval set
Bug = lỗi logic xác định, fix là sửa code	Bug có thể do prompt, do data, do model — phải khoanh vùng
Chi phí chạy gần như cố định	Chi phí theo lượng token, có thể tăng đột biến
Refactor: thay đổi code, behavior giữ nguyên	Đổi model / prompt: behavior thay đổi, phải eval lại

Vì vậy AI Engineer phải có thói quen:

• Đo lường trước khi tin (đừng test 2 ví dụ rồi ship).
• Log đầy đủ input + output thật để debug sau.
• Phân biệt rõ: prompt vấn đề, data vấn đề, hay model vấn đề.
• Có fallback khi model lỗi hoặc trả về output không parse được.

Ranh giới 4 vai trò này không tuyệt đối — công ty nhỏ thường gộp lại, công ty lớn tách rõ. Bảng dưới mô tả phiên bản "tách rõ" để bạn hình dung khác biệt:

Tiêu chí	Data Analyst	Data Scientist	ML Engineer	AI Engineer
Input	Câu hỏi business, dữ liệu lịch sử	Câu hỏi business mở, dataset thô	Model prototype + yêu cầu production	Yêu cầu feature, model API có sẵn
Output	Dashboard, báo cáo, SQL query	Notebook phân tích, model prototype, insight	Model service ổn định trên production	Tính năng AI tích hợp vào sản phẩm
Công cụ chính	SQL, Excel, Power BI, Tableau, Looker	Python (Pandas, scikit-learn), Jupyter, R	PyTorch / TF, MLflow, Kubernetes, Docker	Python / TypeScript, OpenAI / Anthropic SDK, vector DB, LangChain / LlamaIndex
Toán cần dùng	Thống kê mô tả	Thống kê, xác suất, đại số tuyến tính, giải tích cơ bản	Như Data Scientist + tối ưu hệ thống	Hiểu intuition (vector, similarity, loss); không cần derive công thức
Câu hỏi điển hình	"Doanh thu Q3 giảm bao nhiêu % so với Q2?"	"Yếu tố nào dự đoán churn? Có model nào predict được không?"	"Model churn này deploy thế nào để chịu 10k req/s, latency < 100ms?"	"Xây chatbot trả lời câu hỏi từ tài liệu nội bộ, dùng LLM nào, kiến trúc ra sao?"
Stakeholder	Business team, marketing, sales	Product, business, đôi khi engineering	Engineering, DevOps, Data Scientist	Product, engineering, đôi khi business
Có cần train model không?	Không	Có (model nhỏ / cổ điển)	Có khi cần (chủ yếu re-train / fine-tune)	Thường không; có thể fine-tune nhẹ khi cần

5.1. Ví dụ cùng 1 bài toán, 4 vai trò làm khác nhau

Bài toán: "Khách hàng phàn nàn về chatbot hỗ trợ — muốn cải thiện."

• Data Analyst: kéo log chat 30 ngày → tính tỉ lệ user đánh giá thumbs-down, top 10 câu hỏi không được trả lời, vẽ dashboard cho PM.
• Data Scientist: phân tích sâu — câu hỏi nào hay sai? Có pattern không? Có nên xây model classifier để route câu hỏi sang human khi confidence thấp? Prototype thử model classifier trên notebook.
• ML Engineer: nếu Data Scientist đề xuất model classifier → ML Engineer chịu trách nhiệm deploy nó thành service, monitor drift, retrain định kỳ.
• AI Engineer: tối ưu prompt của chatbot, thêm RAG từ knowledge base, viết logic fallback sang human khi LLM trả lời không chắc, đo lại tỉ lệ thumbs-up trước/sau.

5.2. Có overlap không?

Có. Trong thực tế:

• Công ty < 30 người: 1 người thường kiêm 2–3 vai trò.
• AI Engineer ở team nhỏ có thể phải làm việc của Data Analyst (kéo SQL, vẽ chart eval).
• ML Engineer ở công ty làm LLM app gần như chuyển dần sang AI Engineer.
• Data Scientist truyền thống ngày càng học thêm prompt engineering để khỏi bị bỏ lại.

Các use case thật phổ biến mà các công ty product đang tuyển AI Engineer để giải quyết:

6.1. Chatbot hỗ trợ nội bộ hoặc khách hàng

• Chatbot trả lời câu hỏi nhân viên về policy nội bộ (HR, IT).
• Chatbot CSKH tự trả lời câu thường gặp, escalate sang nhân viên khi cần.

6.2. Document Q&A và search nội bộ

• Tìm trong hàng nghìn tài liệu hợp đồng, biên bản, SOP.
• Hỏi đáp tài liệu kỹ thuật, sản phẩm.

6.3. Tóm tắt, trích xuất thông tin (information extraction)

• Tóm tắt cuộc họp từ transcript.
• Trích xuất trường có cấu trúc từ email, hóa đơn, CV.

6.4. Sinh nội dung và hỗ trợ con người

• Gợi ý reply email, gợi ý mô tả sản phẩm.
• Hỗ trợ code (autocomplete, code review).
• Hỗ trợ viết content marketing — vẫn cần con người review.

6.5. Phân loại, định tuyến tự động

• Phân loại ticket CSKH theo độ ưu tiên / chủ đề.
• Định tuyến lead sang đúng sale.
• Moderation nội dung user-generated.

6.6. Agent và workflow automation

• Agent thực hiện chuỗi tác vụ: đọc email → tạo ticket → cập nhật CRM.
• Workflow tự động xử lý đơn hàng có ngoại lệ.

Quan sát chung: phần lớn use case không cần model state-of-the-art, chỉ cần tích hợp đúng và đo lường đủ. Đây là sân chơi chính của AI Engineer.

Để tránh kỳ vọng sai, đây là những việc AI Engineer thường không làm (hoặc làm rất ít):

• Không train foundation model từ đầu. Việc đó cần infrastructure hàng nghìn GPU, dữ liệu hàng nghìn tỉ token, ngân sách hàng chục triệu USD — chỉ một số ít công ty (OpenAI, Anthropic, Google, Meta, xAI, các lab học thuật lớn) làm được.
• Không phải research scientist. Research scientist viết paper, đề xuất kiến trúc mới (transformer mới, optimizer mới). AI Engineer dùng kết quả của họ.
• Không phải Data Scientist. AI Engineer ít khi làm A/B test thống kê chính thống, ít khi xây hypothesis test phức tạp.
• Không phải DevOps thuần. Một số việc deploy / monitoring có thể chia với DevOps hoặc Platform team; AI Engineer tập trung vào phần liên quan tới model.

Hiểu rõ giới hạn giúp bạn:

• Mô tả vai trò chính xác khi viết CV, phỏng vấn.
• Không học nhầm thứ không dùng tới (ví dụ: derive backpropagation bằng tay ở mức paper — không cần cho AI Engineer điển hình).
• Biết khi nào nên đẩy việc sang vai trò chuyên môn khác.

Không có background "duy nhất đúng" — dưới đây là một số xuất phát điểm phổ biến và phần cần bổ sung:

8.1. Backend / Web Developer

• Có sẵn: code Python / Node, API, database, deploy.
• Cần bổ sung: intuition về vector, embedding, loss; quy trình eval; prompt engineering.
• Đường đi ngắn nhất trong 4 nhóm.

8.2. Frontend Developer

• Có sẵn: tư duy product, UX, JavaScript / TypeScript.
• Cần bổ sung: Python cơ bản, xử lý dữ liệu, kiến thức backend, RAG.
• Đường đi vừa phải; có thể bắt đầu bằng full-stack AI app (Next.js + LLM API).

8.3. Data Analyst

• Có sẵn: SQL, Python phân tích, hiểu dữ liệu.
• Cần bổ sung: kỹ năng engineering (testing, version control, deploy), kiến thức LLM, API.
• Lợi thế khi làm phần evaluation và data pipeline.

8.4. QA / Tester

• Có sẵn: tư duy kiểm thử, biết viết script test, hiểu edge case.
• Cần bổ sung: lập trình Python sâu hơn, kiến thức ML / LLM, API.
• Tư duy testing rất hợp với evaluation AI.

8.5. Non-tech (kinh tế, sư phạm, ngôn ngữ, kỹ sư ngành khác)

• Có sẵn: domain knowledge (rất quý), khả năng tự học, kỹ năng viết / lập luận.
• Cần bổ sung: nền tảng lập trình Python, toán cơ bản (vector, đạo hàm trực quan), dữ liệu, sau đó mới đến LLM.
• Đường đi dài hơn nhưng khả thi — chính là đối tượng của lộ trình này.

Lời khuyên thực dụng: nếu bạn xuất phát từ non-tech, đừng vội học PyTorch hay transformer. Đi tuần tự theo các series — Python & toán trước, sau đó ML cổ điển, deep learning, LLM. Bài 2 của series sẽ giải thích cụ thể lộ trình.

Trả lời nhanh các câu hỏi sau, sau đó kiểm tra lại với bài viết:

1. Cho 1 yêu cầu: "Xây dashboard hiển thị doanh thu theo tháng." — vai trò nào phù hợp nhất?
2. Cho 1 yêu cầu: "Tích hợp tính năng tóm tắt biên bản họp vào app nội bộ." — vai trò nào phù hợp nhất?
3. Sự khác biệt cốt lõi giữa system truyền thống và AI application là gì? (1 câu)
4. Kể 3 công cụ thường dùng của AI Engineer.
5. 3 use case thực tế mà công ty thường tuyển AI Engineer để làm là gì?

Gợi ý đáp án:

1. Data Analyst (nếu chỉ là dashboard từ dữ liệu hiện có với SQL + BI tool).
2. AI Engineer (tích hợp LLM tóm tắt vào product).
3. AI application là non-deterministic: cùng input có thể ra output khác nhau, chất lượng đo bằng eval set thay vì unit test boolean.
4. Ví dụ: Python, Anthropic / OpenAI SDK, vector database (pgvector / Qdrant / Pinecone), framework như LangChain / LlamaIndex, observability như LangSmith / LangFuse.
5. Ví dụ: chatbot CSKH, document Q&A nội bộ, tóm tắt / trích xuất thông tin, phân loại ticket, agent workflow.

Bài 2: Lộ trình series Python, Data & Math — học gì để chuẩn bị cho 5 series sau (ML, DL, LLM, Deployment, Job).