气笑了。
classin的产品经理觉得只能淌泔水的大模型比老师更懂怎么教课。
classin的大老板一定要AI转型的话,能不能用好点的模型。这股泔水味儿,零秒猜出是什么模型。
但我喷也不能喷得无凭无据,具体说说这个公众号里的demo有什么问题:
1. “荣誉结果“,表现优秀的依据是”没有立即纠正错误,而是追问学生的判断依据“。这难道不是作为一个人类老师最基本的教学要求吗?如果连这都做不到,那很难说这老师和问答机器人有什么区别。
2. AI天然的自理解包含的“好的教学”是什么样的,是一个黑箱。那么如果给了AI提示词,规定只有这几种迹象是好的教学,那么就限制了老师临场应变和根据学生情况因材施教的自由。学生的多样性和人类的多样性是差不多的,因此不是所有学生都吃你规定好的那一套教学技巧。如果老师因此没有使用这一套,评分就会很低,但模型才不会管这那的。给它的任务就是根据给定的教学rubic评判。那么系统就会天然鼓励老师把课上成样板课。不管谁来都是那一套。我们都知道大模型会reward hacking,但别忘了人类也会,而且在这方面玩得比AI溜。
第二种情况,如果没有给AI明确的标准,或是给开放性标准(包括但不限于),那么AI黑箱的问题就会显现。AI是不通人性的,或者至少有泔水味儿的AI是绝对不通人性的。它的自理解不可能产生对学生反应的精准理解。更何况学生的微表情,学生的行为举止动作,这些都不在上下文里。指望AI在这方面去泛化,那还不如指望一下世界和平。
这个功能唯一的用途,是classin官方给教师的“好老师背书”,方便机构让家长放心。但是代价是什么呢?如果只是需要这种背书,那大可以让AI只说好话。但是这样它就失去了宣称的教研价值。一个只会说好话的evaluator,最终也会让家长对其失去信任。