我做过两年用户研究,但不会写评测代码,想进 AI 公司:该投用户研究评测、产品体验,还是 Agent 评测工程师?

一、先看岗位产出,而不是只看职位名称
JD 的标题经常混用,真正有区分度的是“入职后要交付什么”。
方向 | 核心问题 | 常见产出 | 最能迁移的能力 | 技术要求通常如何理解 |
|---|---|---|---|---|
用户研究评测 | 用户能否理解、信任并持续使用 | 访谈方案、任务设计、质性编码、评测报告 | 研究设计、追问、归因、洞察表达 | 能使用表格和基础数据工具即可起步 |
产品体验 | 用户能否顺利完成关键任务 | 可用性测试、体验诊断、流程建议、改版验证 | 场景分析、优先级判断、跨团队沟通 | 通常不要求独立开发,但要理解产品实现边界 |
Agent 评测工程师 | Agent 是否稳定、准确、可回归 | 测试集、评分规则、失败分类、自动化脚本、监控报告 | 结构化思维、边界意识、数据分析 | 常见要求包括 Python、数据处理和测试框架 |
如果 JD 只写“负责模型效果评估”,一定要继续看岗位职责:是主持用户测试,还是批量运行样本、维护评测集和定位失败原因。前者更接近研究,后者已经进入评测工程。
二、用户研究评测:最顺滑的能力迁移入口
用户研究评测不是把访谈换成一个更技术化的名字,而是把“用户觉得不好用”拆成可观察、可解释、可改善的问题。
例如,一个 AI 助手可以生成答案,但用户仍然不愿意使用。研究评测要追问:用户是否知道怎样提问?能否判断答案是否可靠?出错后是否知道如何修正?用户在意的是速度、准确性、控制感,还是隐私风险?
你已有的经验可以迁移到四个环节:
定义研究问题:把“大家喜不喜欢 AI”改成“在什么任务和风险下,用户愿意采纳建议”。
设计任务与样本:让受访者完成具体任务,观察目标、路径、停顿、放弃点和替代方案。
区分失败机制:模型答错、界面误导、用户预期过高、反馈入口不清,不能混成一个“体验问题”。
提出可验证建议:把洞察写成产品假设,例如“增加引用解释后,用户能否更快判断答案是否可用”。
这类岗位最看重的是研究质量和判断力,而不是把自己包装成算法专家。你需要补的往往是模型基本概念、提示词与上下文、幻觉和不确定性,以及如何设计一套稳定的任务标准。
三、产品体验:把研究洞察转成可用的产品决策
产品体验岗适合那些不满足于“发现问题”,还愿意参与优先级取舍和方案验证的人。它的工作对象不只是页面,也包括 AI 产品的输入方式、等待过程、结果呈现、纠错路径和人工接管机制。
一次合格的体验分析,至少应回答三件事:用户想完成什么任务;系统在哪个节点增加了认知负担;什么改动可以用下一轮测试验证。比如,用户无法判断一段生成内容是否可信,解决方案可能是来源展示、置信度提示、编辑入口或更明确的失败反馈,而不一定是继续提高“智能程度”。
面试时不要只展示一份访谈纪要。更有说服力的案例结构是:背景与目标—招募和任务—关键行为—问题分层—方案取舍—验证结果—仍未解决的限制。即使项目来自个人练习,也要明确哪些是观察,哪些是推断,哪些需要后续验证。
四、Agent 评测工程师:不是“会用 AI”就够了

Agent 评测工程师需要把开放式任务转成可重复的评估系统。一个 Agent 可能要理解意图、调用工具、读取状态、执行多步计划并处理异常,因此一次看起来不错的回答,并不代表流程稳定。
典型工作可以拆成五步:
定义任务:明确输入、目标、允许使用的工具和结束条件。
建立样本:覆盖正常请求、歧义表达、缺少信息、权限不足和工具失败等情况。
设计评分:区分任务是否完成、事实是否正确、步骤是否安全、表达是否符合要求。
归类失败:是意图识别错、规划错、工具参数错、上下文丢失,还是评价标准本身含糊。
回归验证:模型或提示词变更后,重新运行关键样本,确认改进没有破坏其他场景。
不会写代码时,不宜直接声称自己能负责完整的自动化评测基础设施。可以先交付人工评测集、评分 rubric、失败 taxonomy 和一份清晰的运行说明,再补一个能读取 JSON、批量调用接口或汇总结果的简单脚本。岗位要求若明确包含测试框架、服务部署或复杂数据管道,就应把它视为进阶目标,而不是短期包装。
五、你的经历如何映射到三条路径
把简历中的“做过什么”改写成“解决了什么决策问题”,会比堆砌研究方法更有效。
你的经历 | 可映射的岗位价值 | 需要补齐的证据 |
|---|---|---|
访谈、观察和质性分析 | 用户研究评测的任务设计与失败归因 | AI 场景、模型限制、可重复评分 |
可用性测试和流程优化 | 产品体验的体验诊断与改版验证 | 产品指标、方案取舍、上线协作 |
复杂问题拆解和研究框架 | Agent 评测的测试集与 rubric 设计 | 基础 Python、数据结构、回归意识 |
向业务或产品汇报 | 三类岗位都需要的结论表达 | 用证据区分事实、判断与建议 |
注意不要把“参与过 AI 项目”直接写成“负责模型评测”。如果你做的是用户访谈,就准确写清样本、任务、发现和建议;如果你没有运行自动化测试,就不要使用“搭建评测框架”这样的表述。
六、用一份作品集测试自己的真实匹配度
最推荐的练习不是刷一堆概念,而是选择一个公开可体验的 AI 产品,完成一个小而完整的评测项目。作品集可以包含:
产品和目标用户的简短说明;
三到五个代表性任务,说明为什么这样设计;
用户观察或模型输出样本,隐去个人信息;
评分表,明确“通过”“部分通过”“失败”的边界;
失败分类,以及每类失败的可能原因;
两条优先级明确的改进建议;
一页反思,说明样本局限和下一步验证。
如果主投用户研究评测,重点放在任务、追问和洞察链路;如果主投产品体验,补上流程图和方案比较;如果想挑战 Agent 评测工程师,再增加 JSON 格式样本、批量统计和一个最小可运行脚本。作品不必大,但必须让招聘方看见你如何从问题走到判断。
七、投递前的决策清单

可以用下面的顺序做选择,而不是同时向所有岗位投递同一份简历:
你是否享受和用户交流,并能从模糊表达中提炼可验证问题?优先用户研究评测。
你是否愿意参与流程、交互和需求取舍?优先产品体验。
你是否愿意长期维护样本、指标、脚本和回归结果?考虑 Agent 评测工程师。
目标 JD 是否把 Python、SQL、测试框架列为硬性要求?若是,先评估技术补齐周期。
面试作业是访谈方案、体验分析,还是批量评测与代码?按作业类型判断岗位真实重心。
若三个方向都感兴趣,可以采用“主线加副线”:用六成精力投最匹配的方向,三成准备相邻方向,一成做技术实验。这样既不会错过机会,也不会让简历看起来缺乏定位。
八、不会写评测代码,应该怎样补技术
技术补强的目标不是立刻成为后端工程师,而是能读懂数据、复现问题并与工程师有效协作。建议按三个层次推进:
第一层:数据表达。 熟悉 CSV、JSON、字段、数组、字典、去重、筛选和基础统计,能用表格或简单脚本整理评测结果。
第二层:最小自动化。 学会读取一批测试样本,调用一个已有接口,保存输出,并统计通过率、失败类型和异常记录。代码哪怕只有几十行,也要能解释输入、处理和输出。
第三层:评测协作。 理解版本、回归集、抽样偏差、人工评分一致性和线上监控的基本含义,能把研究发现转成工程团队可执行的 issue。
补技术时保留每一步的产物:一份样本集、一张评分表、一段可运行代码和一篇失败复盘。它们比“正在学习 Python”更能证明学习已经转化为工作能力。
九、如何让作品集和数字名片形成同一条叙事
AI 求职越来越依赖可验证的产出。数字名片不应只是姓名、职位和联系方式的集合,而应成为进入作品的入口:一句定位、一个代表项目、研究方法、可公开的样例和联系方式,最好能在很短时间内让对方理解你的方向。
数字名片产品通常强调链接或二维码分享,以及把联系方式、社交账号和业务信息集中在一个页面;例如 Zoviz 的数字名片页面明确展示了这一使用方式,ConnQ 的产品介绍也把互动档案、二维码分享和作品信息作为核心场景。对求职者而言,关键不在于页面做得多花,而在于链接打开后能否迅速看到与你目标岗位相关的证据。
Bonjour! 首页同时提供 Builder News、自荐墙和找工地图等入口,适合把“我是谁、做过什么、正在寻找什么”组织成可被发现的职业叙事。无论使用哪种平台,都要注意隐私:未经同意不要公开受访者原话、联系方式、内部数据或企业后台截图。
十、把 AI 岗位理解为协作链,而非单一技术赛道
AI 团队的工作并不只有模型训练和软件开发。人民网关于复兴岛星火社区的报道,展示了 AI 短剧、智能体、小游戏等不同创作和创业方向如何在同一生态中协作,并提到传统影视从业者借助 AI 工具转向新的创作流程(人民网报道)。这类案例对求职者的启发是:行业需要的不只是“会写代码的人”,也需要能理解用户、定义任务、发现失败并推动改进的人。
因此,你不必先消除所有短板再投递。更现实的策略是:用研究能力进入一个相邻岗位,用作品集证明问题拆解能力,再根据真实 JD 逐步补足技术深度。
Related Tools
岗位拆解表:把 JD 的职责、硬技能、产出物和面试作业放在四列中对照。
评测样本模板:记录任务、输入、期望结果、实际结果、失败类型和证据链接。
作品集检查表:确认每个项目都有背景、方法、证据、判断、限制和下一步。
数字名片:将个人定位、作品集和联系方式集中呈现,减少投递时的信息跳转。
Related Links
Summary
对有两年用户研究经验、暂时不会写评测代码的人,最稳妥的选择不是盲目追逐最技术化的岗位,而是先明确自己的优势和目标产出。用户研究评测适合把研究方法迁移到 AI 场景,产品体验适合把洞察推进到流程和方案,Agent 评测工程师则要求更强的结构化、数据和自动化能力。先用一份小而完整的作品集证明判断力,再按目标 JD 补技术,你就能把“不会写代码”从阻断条件变成清晰的学习路线。