Agent Infra 工程师

你会负责什么

• LLM Gateway 层设计与实现（基于 LiteLLM）：多模型路由、降级、Token 配额、成本核算
• 自托管 Supabase 全栈组件 + Sandbox 沙箱基础设施的运维与稳定性保障，SLA ≥ 99.9%
• Agent 全链路可观测：trace、token 成本归因、Prompt 与上下文版本管理
• Agent 评测与回归管道：评测集设计、线上 A/B、Eval 指标可视化
• 与 Agent 应用开发同学共建数据闭环，把「成本」和「效果」做成可量化的一等公民

必须有的

• 实际做过 LLM 应用 / Agent 系统的可观测或成本治理，有上线案例
• 熟悉 LiteLLM 或类似 LLM Gateway 方案，能独立完成多模型路由与成本追踪
• 熟悉自托管 Supabase（PostgreSQL、Kong、GoTrue、PostgREST、Realtime 等核心组件）
• 熟悉至少一种 Sandbox 沙箱方案（e2b / Daytona / Modal 等），有生产集成经验
• 2 年以上 Kubernetes 生产运维经验（Deployment、StatefulSet、RBAC、Helm Chart）
• 工程基本功扎实：Python 或 TypeScript 写过可维护的服务，有上线和运维经验
• Owner 心态：能定义问题、列出选项、做 trade-off 决策

加分项

• Prompt 缓存 / Context 工程实战经验（如 prompt cache hit rate 优化）
• 懂多种主流模型 token 计费差异，做过模型选型与成本优化
• 熟悉阿里云 ACK / ECS / RDS / ACR 等公有云
• 熟悉 GitOps（ArgoCD / FluxCD）
• CKA / CKS 认证

我们看重的特质

• 用数据说话：上线前给指标预期，上线后用数据复盘
• 平台思维：把「让 Agent 应用开发者好用」当产出物
• 跨层视角：能下到底座排查、上到 Agent 编排层一起讨论 trade-off
• 良好的文档与 On-Call 响应习惯

核心能力关注点

• LLM Gateway 与多模型治理
• LiteLLM 等网关方案、多模型路由 / 降级 / 限流、Token 配额与成本核算
• Agent 可观测与评测
• 全链路 trace、Prompt 版本与上下文追踪、评测集与回归 A/B 管道
• 平台底座运维
• 自托管 Supabase + Sandbox 沙箱 + Kubernetes 生产环境与 PostgreSQL 高可用

技术栈偏好

•LiteLLM；Supabase（自托管）

•Sandbox（e2b / Daytona）

•Kubernetes

•Helm

•PostgreSQL

•Kong

•OpenTelemetry

•Prometheus / Grafana

•TypeScript / Python