Một câu hỏi chạy thế nào
Từ lúc moderator bấm gửi tới dòng cuối cùng của agent, ai gọi ai, cái gì được lưu và một đoạn chạy kết thúc theo những cách nào.
Một câu hỏi là một lượt (turn). Một lượt chạy thành một hay nhiều đoạn (segment): mỗi lần tạm dừng rồi chạy tiếp, hay hỏi lại moderator rồi chạy tiếp, server mở một đoạn mới trên agent, nối từ checkpoint của đoạn trước. Agent không có database; checkpoint nằm ở server, trong cột state của lượt.
- 1 Gửi câu hỏiConsole → Server
POST …/turns - 2 Mở một đoạn chạyServer → Agent
POST /runs, modenew - 3 Gọi modelAgent → LiteLLMalias của agent,
user= moderator - 4 Model trả lời, có thể xin gọi toolLiteLLM → Agent
- 5 Gọi tool qua MCPAgent → Server
/mcp, kèm id của moderator - 6 Trả từng dòng NDJSONAgent → Serverevent, tool call, checkpoint, tài liệu
- 7 Phát event qua SSEServer → Console
GET …/events - 8 Tạm dừng hoặc chỉnh hướngConsole → Server
POST …/pause,…/steer - 9 Hỏi lệnh điều khiển mỗi giâyAgent → Server
GET …/control - 10 Dòng end khép đoạnAgent → Servertrạng thái, câu trả lời, nguồn, chi phí
Các bước
-
Server nhận câu hỏi
Server kiểm phiên console, đọc agent được chọn trong
ai_agents(mặc định là Console assistant), kiểm ngân sách tháng, giới hạn 30 câu hỏi và cập nhật mỗi phút cho mỗi moderator, rồi làm sạch câu hỏi: bỏ ký tự điều khiển, ký tự độ rộng 0 và thẻ HTML. Câu hỏi quá 2000 ký tự bị từ chối vớiagent_input_rejected. Lượt mở ở trạng tháirunningdưới khoá dòng của cuộc chat, và console nhận202 {conversation_id, turn_id}. -
Server mở một đoạn chạy
Server gửi
POST /runstới agent vớiAGENT_SERVICE_TOKEN: câu hỏi, moderator và vai trò, bản ghi đang mở, 20 lượt đã xong gần nhất làm lịch sử, vàagent_config(alias model, hướng dẫn, danh sách tool, giới hạn). Server chờ agent trả trạng thái tối đa 10 giây; khác 200 thì lượt mới bị bỏ và console nhận503 agent_unavailable. -
Agent mở MCP và chạy vòng lặp
Agent mở một client MCP mới cho đoạn chạy và chỉ giữ tool có
readOnlyHintnằm trong danh sách của agent. Model mở bước bằngbegin_step, gọi tool, đóng bước bằngend_stepvới một dòng tóm tắt, và trả lời bằnganswer. Trước mỗi lần gọi model, agent ghi checkpoint và đọc các lệnh điều khiển đang chờ. -
Từng dòng chảy về server
Agent ghi mỗi việc thành một dòng JSON và flush ngay. Server đọc stream ở chế độ nền: dòng
eventđược lưu với số thứ tự kế tiếp rồi báo cho các stream đang mở quapg_notify;checkpointlưu trạng thái để chạy tiếp;tool_callcập nhật dòng của lần gọi tool;documentlưu phiên bản mới của tài liệu. -
Console vẽ lượt chạy
Console mở
GET /v1/console/agent/turns/{id}/events. Server phát lại các event đã lưu rồi gửi tiếp event mới, mỗi event cóidlà số thứ tự. Mở lại trang thì console xin từ số thứ tự cuối nó đã thấy, quaLast-Event-ID. Khi moderator đóng tab, server đóng stream và lượt vẫn chạy trên agent. -
Dòng end khép đoạn
Dòng cuối mang trạng thái, câu trả lời, các khối, nguồn, chi phí, checkpoint và event đóng. Server ghi tất cả trong một transaction. Stream đứt mà không có dòng
endthì lượt đóngfailedvớiagent_stuck.
Cách một đoạn kết thúc
Model trả lời, qua answer hoặc bằng chữ thường.
Pause, Stop now, lượt đã bị xoá hoặc server đóng request.
Model gọi ask_user và chờ moderator.
Model hay MCP lỗi, hết lượt gọi model, hết ngân sách.
Qua thời hạn của đoạn, mặc định 60 giây.
PAUSED và AWAITING_INPUT chưa khép lượt: moderator chạy tiếp, trả lời hoặc kết thúc. Lượt FAILED hay TIMED_OUT chạy tiếp được trong một số trường hợp, liệt kê ở Giới hạn và lỗi.
Server dọn lượt bị treo
Mỗi replica của server giữ một LISTEN agent_turn để báo các stream của lượt. Lúc khởi động và mỗi phút, server đóng các lượt còn running quá 30 giây sau thời hạn với agent_stuck, kể cả lượt của một replica đã sập giữa chừng.