Giới hạn và lỗi
Thời hạn, số lần gọi model, ngân sách, giới hạn tốc độ, ngữ cảnh và chống lặp tool, cùng các mã lỗi và lượt nào chạy tiếp được.
Server chặn một câu hỏi trước khi lượt mở; agent chặn một đoạn chạy trong lúc chạy. Lỗi ở bước đầu trả về ngay thành HTTP; lỗi ở bước sau tới console qua event turn.finished.
Trước khi lượt mở
| Kiểm tra | Ở đâu | Kết quả |
|---|---|---|
| Ngân sách tháng của agent đã hết | server | 429 agent_budget |
| Quá 30 câu hỏi và cập nhật một phút của một moderator | server, bộ nhớ của từng replica | 429 agent_rate_limited |
| Câu hỏi rỗng sau khi làm sạch | server | 400 invalid_request |
| Câu hỏi quá 2000 ký tự | server | 422 agent_input_rejected |
| Cuộc chat đang có lượt chưa xong | server | 409 agent_turn_in_progress |
FEATURE_ALL_AGENT hoặc FEATURE_LLM là false | agent | 503, server trả agent_unavailable |
Trong lúc chạy
| Giới hạn | Mặc định | Khi vượt |
|---|---|---|
Thời hạn của một đoạn (limits.deadline_s, 10 tới 300) | 60 giây | TIMED_OUT; các bước và lần gọi tool đã có vẫn giữ |
Số lần gọi model mỗi đoạn (max_model_calls) | 40 | FAILED, agent_limit |
Token đầu ra mỗi lần gọi (max_tokens) | 4096 | câu trả lời của lần gọi đó bị cắt |
Kết quả tool giữ trong ngữ cảnh (AGENT_TOOL_OUTPUT_CAP) | 20 000 ký tự | phần còn lại đọc qua tool read_output |
| Cùng một tool với cùng đầu vào | 2 lần | lần thứ ba bị huỷ, event guardrail loop_stopped, model được bảo trả lời với những gì đã có |
Ngân sách
Mỗi lần gọi model mang user=<id moderator>, nên LiteLLM áp ngân sách theo ngày của từng moderator; agent console còn một ngân sách tháng trên alias của nó. Hết ngân sách giữa chừng thì đoạn kết thúc FAILED với agent_budget, và ô hỏi của console báo việc hỏi bị dừng tới nửa đêm hoặc tới khi admin thêm ngân sách. Chi phí mỗi lần gọi đọc từ header x-litellm-response-cost và cộng dồn vào usage của lượt.
Giới hạn tốc độ của nhà cung cấp
LiteLLM trả 429 không phải vì hết ngân sách thì agent chờ rồi gửi lại đúng request đó. Thời gian chờ lấy từ reset_at, retry-after-ms hoặc retry-after, mặc định 60 giây. Một đoạn chờ tối đa ba lần, mỗi lần tối đa 90 giây, và ghi event rate.waiting {until} để console hiện đồng hồ đếm ngược. Stop now và thời hạn của đoạn cắt ngang lúc chờ.
Ngữ cảnh
Sau mỗi lần gọi model, event context.meter báo số token đã dùng trên cửa sổ ngữ cảnh (limits.context_window, mặc định 128 000). Quá 80 %, agent tóm tắt mọi tin trước tin trả lời cuối của model bằng chính model đó, thay chúng bằng một tin gồm bản tóm tắt và câu hỏi của moderator, và ghi context.compacting rồi context.compacted. Ngữ cảnh vẫn đầy sau khi tóm tắt thì đoạn kết thúc agent_context.
Mã lỗi
| Mã | Nhóm | Chạy tiếp được | Dòng console hiện |
|---|---|---|---|
agent_timeout | out_of_room | có | Quá thời gian trả lời. Hãy hỏi lại. |
agent_limit | out_of_room | có | Lượt hỏi đã dùng hết số bước cho phép. |
agent_context | out_of_room | có | Ngữ cảnh của lượt hỏi đã đầy. |
agent_failed | broken | có | Agent gặp lỗi giữa chừng. Có thể tiếp tục lượt này. |
agent_stuck | broken | có | Lượt hỏi bị gián đoạn. Hãy hỏi lại. |
agent_unavailable | unavailable | không | Agent đang không trả lời được. Hãy thử lại sau. |
agent_budget | blocked | không | Hết hạn mức hôm nay. |
agent_blocked | blocked | không | Lượt hỏi bị chặn. |
Một lượt FAILED hay TIMED_OUT chạy tiếp được khi nó là lượt mới nhất của cuộc chat, đã ghi ra ít nhất một bước, một lần gọi tool hay một đoạn chữ, và mã lỗi nằm trong năm mã có “có” ở bảng trên. Lượt bị huỷ bằng End thuộc nhóm stopped.
Giới hạn đã biết
- Stop now, giới hạn thời gian của tool và thời hạn của đoạn không dừng được một lần gọi MCP đã chạy ở server.
- Pause, Stop now và cập nhật tới agent trong khoảng một giây, là chu kỳ hỏi lệnh điều khiển.
- Công tắc tắt agent áp cho từng process.
- Agent che dữ liệu cá nhân trong audit log của nó. Câu trả lời có thể trích dữ liệu cá nhân mà moderator được phép đọc, và server ghi lại các lần đọc đó.