Phần III · M10 · Chung mục tiêu

Governance · ROI · Change Management

Guardrail 3 lớp · DLP · human-in-the-loop · đo AIR (AI ROI) · quản lý cảm xúc tổ chức khi đổi.

design rules

Single-responsibility · narrow scope · idempotent · observable…

lớp guardrail

Pre-prompt · in-flight · post-output — không lỏng được lớp nào.

HITL

checkpoint

Mọi hành động mutation phải có approval của con người.

100%

audit

Mọi tool-call ghi trace: ai · agent · tool · payload · kết quả.

6 nguyên tắc thiết kế Agent

Single Responsibility

1 agent = 1 mục tiêu rõ. "Agent vạn năng" sẽ vạn lỗi.

Narrow Scope

≤ 7 tool/agent. Nhiều hơn → tách agent con + orchestrator.

Idempotent Action

Gọi lại không gây hậu quả kép — quan trọng cho retry.

Structured Output

JSON schema bắt buộc, không free-text — validator chặn output sai.

Observable

Log token in/out, latency, cost, tool result để debug được.

Fallback rõ ràng

Khi không chắc → escalate cho người, không bịa.

Guardrails · 3 lớp phòng thủ

Pre-prompt

›System prompt policy
›Input sanitization
›PII redaction
›Rate limit / quota

In-flight

›Tool allowlist theo role
›Scope token (read vs write)
›Approval gate cho mutation
›Timeout & circuit breaker

Post-output

›Schema validator
›Toxicity / safety classifier
›Fact-check vs source
›Logging + alert anomaly

Human-in-the-loop

Approval gate

Mọi DELETE/UPDATE prod cần 1 click người duyệt.

Rollback plan

Mỗi action có inverse — kèm script revert tự động.

Kill-switch

1 toggle dừng toàn bộ agent — test định kỳ như fire drill.

Shadow mode

Agent mới chạy song song, log nhưng không tác động thật 2 tuần.

Đánh giá & Observability

›Golden set ≥ 50 case nghiệp vụ thật, version-control như code.
›Regression test prompt sau mỗi đổi model / system prompt.
›Đo: accuracy · latency p95 · cost/request · escalation rate.
›Trace mọi run (Langfuse / Helicone) — debug được sau 30 ngày.

Compliance — JP · EU · Global

ISO 27001

Bắt buộc với khách hàng JP enterprise — control truy cập, log, BCP.

GDPR (EU)

DPA, quyền xoá, data minimization, không train trên PII.

APPI (Nhật)

Khai báo mục đích sử dụng dữ liệu, không gửi PII ra public model.

Data Residency

JP data ở JP region · EU data ở EU region — chọn model provider phù hợp.

Mọi agent VNEXT trước khi go-live phải qua checklist 4 ô: Design rules · 3 lớp guardrail · HITL approval · Eval ≥ 90% golden set. Thiếu 1 ô → dừng release.