Hệ thống agent không cần phức tạp mới hữu dụng. Những hệ thống chạy ổn định trong sản xuất thường được ghép từ vài pattern đơn giản, có thể tái sử dụng—rồi mở rộng bằng giao diện rõ ràng, bộ công cụ tốt, và quy trình đánh giá chặt chẽ. Bài viết này cô đọng các kinh nghiệm thực tế: khi nào nên dùng agent, cách thiết kế, và cách tiến hóa từ một lần gọi LLM có tăng cường lên vòng lặp nhiều bước mà vẫn minh bạch và kiểm soát được.
Bạn sẽ học gì
- Khi nào chọn workflow thay vì agent, và ngược lại
- Cách thiết kế một augmented LLM (tools, retrieval, memory)
- Các pattern có thể ghép: chaining, routing, parallelization, reflection
- Vòng lặp agent: lập kế hoạch, gọi công cụ, phản hồi từ môi trường, checkpoint với con người
- Thiết kế tool, guardrail, và hệ quan sát/đo lường có thể scale
Bắt đầu đơn giản: chọn giải pháp nhỏ nhất đủ dùng
Trước khi đưa “agent” vào, hãy kiểm chứng xem một lần gọi LLM (được tăng cường đúng ngữ cảnh) có giải quyết được không:
- Retrieval: lấy tài liệu/bản ghi liên quan.
- Tools: gọi API hoặc thực thi mã để có ground truth và hành động.
- In‑context examples: đưa ví dụ để ổn định hành vi.
Nếu vẫn chưa đủ, hãy dùng workflow có thể dự đoán (bước cố định) trước khi chuyển sang agent do mô hình tự quyết (bước động). Bạn đang đánh đổi chi phí và độ trễ lấy sự linh hoạt—chỉ chấp nhận khi thật sự cải thiện kết quả đo được.
Workflow và agent khác nhau thế nào
- Workflow: Code điều phối các bước và cách dùng tool. Phù hợp quy trình lặp lại, đã hiểu rõ, cần tính nhất quán và guardrail mạnh.
- Agent: Mô hình quyết định bước tiếp theo (và tool nào) dựa trên phản hồi. Phù hợp bài toán mở, số bước và thứ tự khó đoán.
Mẹo: Nhiều hệ thống production pha trộn cả hai. Dùng workflow để “đóng khung” nhiệm vụ, rồi giao những phần cần khám phá cho agent.
Viên gạch nền: augmented LLM
Mọi hệ thống agentic đều bắt đầu từ một “augmented LLM” có khả năng:
- Dùng tool: function calling với tham số có cấu trúc và kết quả rõ ràng.
- Truy xuất tri thức: RAG hoặc tìm kiếm có cấu trúc trên nguồn nội bộ.
- Quản lý bộ nhớ: sổ tay ngắn hạn và tóm tắt/ghi nhận bền vững.
Thiết kế interface như một public API cho mô hình:
- Tên tool, mô tả, schema rõ ràng (kiểu, bắt buộc, enum…).
- Thông báo lỗi hữu ích, hành vi ổn định và có tính quyết định.
- Tối đa idempotent hoặc lặp lại an toàn khi có thể.
- Kết quả có cấu trúc, có trạng thái thành công/thất bại.
Nhiều đội kết nối tool qua Model Context Protocol (MCP) để chuẩn hóa việc phát hiện và gọi tool giữa nhà cung cấp cục bộ/lừu trữ từ xa. Dù chọn gì, hãy giữ interface minh bạch và tài liệu hóa kỹ—mô hình chỉ tin cậy được ở mức mà tool của bạn cho phép.
Sơ đồ khái niệm: LLM tăng cường với retrieval, tool và bộ nhớ.
Các pattern workflow có thể ghép
Những pattern này giải quyết hầu hết bài toán “nhiều bước” mà chưa cần tới agent tự trị.
1) Prompt chaining
Chạy chuỗi gọi LLM nơi đầu ra bước này là đầu vào bước kế (ví dụ: dàn ý → nháp → phản biện → chỉnh sửa). Đơn giản, dễ debug, dễ lần vết.
Khi dùng: Bước đã rõ, thứ tự ít thay đổi. Thêm bước kiểm cuối để chặn hồi quy.
Chuỗi tuần tự: đầu ra bước trước là đầu vào bước sau.
2) Routing (handoff)
Chuyển yêu cầu tới “chuyên gia” phù hợp (prompt/model/tool) dựa trên bộ phân loại hoặc prompt định tuyến. Hữu ích cho phân luồng, kiểm soát chi phí, tách biệt mối quan tâm.
Khi dùng: Bạn có danh mục rõ ràng, prompt riêng, hoặc nhiều model với thế mạnh khác nhau.
Router gửi yêu cầu tới “chuyên gia” phù hợp nhất.
3) Parallelization
Chia bài toán thành các tiểu nhiệm vụ độc lập để chạy đồng thời (ví dụ: tóm tắt từng phần song song rồi tổng hợp). Giảm độ trễ và tăng độ đa dạng ý tưởng.
Khi dùng: Công việc tự nhiên có thể phân rã. Thiết kế kỹ bước tổng hợp.
Các nhánh độc lập chạy song song và nhập vào kết quả cuối.
4) Reflection (tự phản biện)
Thêm vòng lặp: tạo → đánh giá → sửa cho tới khi đạt điều kiện hoặc chạm giới hạn. Bộ đánh giá có thể là cùng model với prompt khác, hoặc model/tool riêng.
Khi dùng: Bạn định nghĩa được tiêu chí pass/fail rõ ràng (test, schema, checklist). Giới hạn số vòng lặp.
Chu trình tự phản biện nâng chất lượng với tiêu chí kiểm tra rõ ràng.
Từ workflow sang agent
Agent bổ sung điều khiển do mô hình dẫn dắt: lập kế hoạch, hành động bằng tool, quan sát môi trường, rồi thích nghi cho tới khi xong. Một vòng lặp agent đáng tin thường gồm:
- Hiểu mục tiêu: xác nhận yêu cầu, ràng buộc, tiêu chí thành công.
- Lập kế hoạch: đề xuất bước, phụ thuộc, checkpoint; hiển thị kế hoạch trong log/UI.
- Hành động: gọi tool phù hợp với tham số có cấu trúc; xử lý lỗi.
- Quan sát: đọc kết quả tool/thực thi như ground truth.
- Phản biện/tái lập kế hoạch: điều chỉnh; tiếp tục hoặc xin ý kiến người dùng.
- Dừng: khi đạt tiêu chí hoặc chạm giới hạn (vòng lặp, thời gian, ngân sách).
Thực hành quan trọng:
- Mọi quyết định phải bám theo phản hồi thực tế (kết quả tool, diff file, test).
- Làm cho kế hoạch minh bạch để dễ debug và tạo niềm tin.
- Chèn checkpoint có con người ở nơi cần phán đoán hoặc quyền hạn.
- Đặt điều kiện dừng nghiêm ngặt để tránh vòng lặp mất kiểm soát.
Planner phân rã nhiệm vụ, điều phối worker dùng tool với checkpoint rõ ràng.
Thiết kế tool để agent dùng “mượt”
Hãy coi tool như sản phẩm dành cho “khách hàng là mô hình”.
- Tên và mô tả: Nêu rõ mục đích, tác dụng phụ, input điển hình.
- Schema: Kiểu dữ liệu chính xác, trường bắt buộc, enum, min/max.
- Validation: Từ chối input sai kèm thông báo lỗi hành động được.
- Tính quyết định: Output ổn định; có status code và kết quả có cấu trúc.
- An toàn: Kiểm quyền, rate limit, timeout, chế độ dry‑run.
- Idempotency: Cho phép retry an toàn; có correlation ID.
- Tài liệu: Ví dụ và edge case; mô tả cách hỏng/hạn chế.
- Kiểm thử: Unit cho schema; end‑to‑end cho đường chạy chính và lỗi.
Gợi ý nhắc tool: Cung cấp “sổ tay tool” ngắn gọn mô tả khi nào nên dùng từng tool, kèm vài ví dụ chuẩn. Tránh chồng chéo trách nhiệm giữa các tool—mơ hồ làm giảm độ tin cậy.
Bộ nhớ và ngữ cảnh
- Sổ tay ngắn hạn: ghi chú tạm cho phiên hiện tại (giả thuyết, kết quả trung gian).
- Trí nhớ theo phiên: tóm tắt tương tác hoặc lần chạy trước để giữ mạch.
- Tạo sản phẩm dài hạn: bản ghi có cấu trúc mà hệ thống khác có thể tin (ticket, PR, doc).
Tóm tắt một cách thận trọng. Giữ bộ nhớ mang tính sự kiện và có thể kiểm chứng; tránh để ghi chú cũ/suy đoán trở thành “sự thật”.
Quan sát và đánh giá
Không đo thì khó cải thiện. Hãy instrument hóa mọi thứ:
- Trace: log prompt, gọi tool, input/output, lỗi và thời gian.
- Metric: tỷ lệ thành công, chi phí, độ trễ, số vòng lặp, tỷ lệ lỗi tool.
- Dataset: tập kiểm thử có đáp án/vị giám khảo; chạy định kỳ.
- Kiểm hồi quy: chạy lại eval trước/sau khi đổi prompt/tool.
- Sandbox: thử agent trong môi trường an toàn với tool và dữ liệu thực tế.
Với nhiệm vụ mở, ưu tiên tiêu chí vận hành (ví dụ “build thành công”, “test pass”, “khách báo đã giải quyết”) thay vì chấm điểm chủ quan.
Guardrail và kiểm soát
- Giới hạn: số vòng lặp, thời gian, ngân sách, mức độ song song của tool.
- Quyền hạn: hành động rủi ro (refund, deploy) cần phê duyệt từ người.
- Fallback: đường an toàn khi định tuyến hoặc tool hỏng.
- Phục hồi: retry có backoff; hạ cấp mềm về con đường đơn giản hơn khi cần.
- Cô lập: chạy mã không tin cậy hoặc “computer‑use” trong sandbox với policy nghiêm.
Đánh đổi chi phí và độ trễ
Agentic giúp tăng chất lượng nhưng tốn tài nguyên. Hãy “quy trách nhiệm” rõ ràng:
- Dùng routing và cache để tránh gọi tốn kém không cần thiết.
- Ưu tiên parallel cho bước độc lập để giảm thời gian tổng.
- Kết thúc vòng reflection sớm khi có tín hiệu thất bại rõ.
- Theo dõi ngân sách theo tính năng và cảnh báo bất thường.
Ví dụ ứng dụng
- Agent hỗ trợ khách hàng: Hỏi đáp để chẩn đoán, lấy lịch sử tài khoản và knowledge, thực thi hành động (refund, cập nhật). Đo bằng tỷ lệ/ thời gian xử lý; bước nhạy cảm cần quyền.
- Agent lập trình: Lập kế hoạch, sửa file, chạy test, đọc lỗi và lặp. Ground truth từ compiler/test; giới hạn số vòng; tạo PR với diff và lý do.
- Agent nghiên cứu/báo cáo: Phân rã câu hỏi, tìm nguồn, trích dẫn, tổng hợp báo cáo có cấu trúc. Dùng routing cho loại truy vấn, reflection cho kiểm chứng.
Agent tự trị lặp qua plan → act → observe → reflect với công cụ.
Ví dụ coding agent: lập kế hoạch, chỉnh sửa file, chạy test và lặp tới khi xong.
Kiến trúc tham chiếu (khái niệm)
- Orchestrator: Bộ điều phối tối giản chạy workflow và vòng agent; xuất trace.
- Augmented LLM: Lõi dùng tool, có interface retrieval và memory.
- Lớp tool: Nhỏ gọn, tài liệu tốt, có version, schema và test.
- Dữ liệu và truy xuất: pipeline index và tìm kiếm có phạm vi trên nguồn tin cậy.
- Quan sát: logging/tracing tập trung, dataset eval, dashboard.
- An toàn: quyền hạn, rate limit, sandbox và audit log.
Checklist triển khai
- Mục tiêu có tiêu chí thành công và ràng buộc rõ ràng
- Bắt đầu bằng một lần gọi có tăng cường; chỉ tăng độ phức tạp khi cần
- Tool có tài liệu: schema, thông báo lỗi, ví dụ
- Kế hoạch minh bạch với checkpoint hiển thị
- Có trace, metric và bộ eval
- Giới hạn và quyền cho vòng lặp, hành động rủi ro
- Test cho tool và đường chạy end‑to‑end (thành công/lỗi)
Lỗi thường gặp
- Quá kỹ thuật: Dùng agent ở chỗ workflow là đủ.
- Prompt “mù”: Giấu kế hoạch làm khó debug; hãy lộ ra.
- Tool mơ hồ: Schema kém, chồng chéo trách nhiệm làm mô hình lẫn lộn.
- Vòng lặp vô hạn: Không có giới hạn hoặc điều kiện dừng.
- Đánh giá yếu: Không có dataset, không kiểm hồi quy, thiếu metric vận hành.
Tài liệu tham khảo
- Building Effective AI Agents — https://www.anthropic.com/engineering/building-effective-agents
- Agentic patterns (overview) — https://www.philschmid.de/agentic-pattern
Lời cảm ơn: Bài viết tổng hợp các bài học từ những tài nguyên trên và chuyển hóa thành cách tiếp cận thực tiễn, hướng sản xuất cho workflow và agent.
Tóm Tắt
- Bắt đầu đơn giản với augmented LLM; chỉ tăng độ phức tạp khi có lợi đo được.
- Thiết kế tool như sản phẩm: schema rõ, an toàn, có test và tài liệu.
- Đo lường và guardrail đầy đủ để kiểm soát chất lượng, chi phí và độ trễ.
