Dian19天前谢谢你ping我，如果我遇到一个子方向benchmark特别不成熟，或者没有共识，我会先参考baseline的指标设计benchmark，加一些独特的能够体现我自己method优越性的指标(当然不能cherry pick只对自已有利的指标)，再加一些所有的method可能都表现的不好但是很可能很有意义的指标作为future work
Ludwig19天前从纯research来讲， 只要task化了之后就没有做不出benchmark，只是暂时没有人做。冷启动的第一步还是要自己来的。 从更务实的讲， 可以先写个ppt 然后到处发PR稿， 来决定要不要真的开始冷启动同时收集benchmark ☺️
