JackWang碎碎念Research context/memory + browser harness + Benchmark很多领域压根没有 benchmark——这种情况下，auto-research 到底该怎么设计？🤔19天前
Dian19天前谢谢你ping我，如果我遇到一个子方向benchmark特别不成熟，或者没有共识，我会先参考baseline的指标设计benchmark，加一些独特的能够体现我自己method优越性的指标(当然不能cherry pick只对自已有利的指标)，再加一些所有的method可能都表现的不好但是很可能很有意义的指标作为future work
Ludwig19天前从纯research来讲， 只要task化了之后就没有做不出benchmark，只是暂时没有人做。冷启动的第一步还是要自己来的。 从更务实的讲， 可以先写个ppt 然后到处发PR稿， 来决定要不要真的开始冷启动同时收集benchmark ☺️
Mouna19天前自己造一个 benchmark 确实是个常见的做法？ 我的研究领域其实也比较难找到完全合适的benchmark，研一的一整年都是在做这个系统架构的研究，为此还特地发了个论文 就算是新的系统 or 结合的领域，也一定能找到值得参考的 ref ，把不同ref 里的benchmark 做个整理 -> 就得到了新的benchmark -> 然后在这个基础上继续实验 🤪
