Agent 评测工程师

关于职位

Manus 专注于通用 AI 智能体（AI Agent）的研发与服务。这是一个社招岗位，base 北京。

你会做的

设计线上与离线指标，将用户任务、交付质量和使用价值转化为可衡量、可检验的评价标准。
结合智能体规划、工具调用、上下文与反馈机制设计评测任务和实验，对比系统改动前后的表现，定位影响结果的因素。
支持模型后训练评测及第三方模型质量比较，明确评估场景、指标口径和结果的适用范围。
针对现有评测难以反映的能力与用户体验问题，提出新的任务、指标或实验方法，检验其有效性、偏差和可复现性。
分析评测结果和失败案例，区分分数变化与真实能力变化，与产品、工程及模型团队验证改进效果并完善评测方法。

我们在找

具备智能体产品或模型后训练评测实践经历，能够通过具体工作说明指标设计与验证能力。
深入理解 AI 模型与智能体的技术机制，熟悉任务规划、工具调用、上下文管理及反馈过程，能够据此分析系统表现。
具备数据分析、工程和研究能力，能够设计实验、处理评测数据，并分析结果的不确定性。
能够深入分析开放问题，提出有依据的新型评测方案，检查实验偏差、样本与结论之间的关系，并通过实验验证判断。
对 AI 生成质量和真实用户价值有独立判断，能够清晰表达研究结论、适用条件和局限。

加分项

熟悉用户访谈、观察或可用性测试等用户调研方法，能够将用户研究转化为评测任务和标准。