月石来自奥菲寺。
量子报道| QbitAI,微信官方账号。
纸与守则发起了第五届机器学习再现性挑战。
这一次,不仅会议有所增加会得到支持,挑战者也会得到500美元!的财政支持
“500美元补贴”/
将被挑战的论文来自几个会议,如神经科、ICML、ICLR、ACL、EMNLP、CVPR和ECCV,挑战者通过DAGsHub复制它们。
“500美元补贴”/
组织者发起这一挑战是为了鼓励发表和分享可靠和可重复的科学成果。
如何参与?让我们一起看。
#流程和要求。
挑战者需要从他们支持的会议的论文列表获得论文,显示“收到”的除外,每个人最多只能复制2篇论文。
“500美元补贴”/
此外,挑战者需要加入不和谐社区.的# ml-再现渠道
“500美元补贴”/
然后,在复制的步骤中,挑战者使用作者发布的现有代码,或者设计一个执行程序,向验证表达论文的观点和结论。
并使用DAGsHub存储来托管数据、模型等。并确保一切都是开源和可重复's.
“500美元补贴”/
然后,发现和消融研究的内容将被总结收入达格舒布的页面。要涵盖这些内容:
这张纸可复制吗?
你发现了什么重要的见解吗?
描述数据集(如果适用):来源、数据类型、分布等。
描述数据处理方法(如果适用)。
描述模型:架构、性能等。
此外,挑战者需要确保他们满足ML重复性检查表的标准,那些满足要求的人将得到每篇论文的500美元的支持。
“500美元补贴”/
最后,结果将是提交的挑战活动,并将作为一个DAGsHub项目和这个项目的问题联系起来。组织者将审核DAGsHub项目。
作者可以在社区和DAGS中心的主页上被选择和介绍,或者被邀请在特殊活动中分享他们的作品。
#网友:能发论文吗?
这种复现论文的活动在Reddit上引起了网友的关注。
很多网友说:我想参加!
我真的很想参与。如果在相同的超参数条件下,一篇论文被复制,结果不匹配会怎样?
23ec674b9' alt='ML顶会论文都可复现吗?来挑战一下,还能拿500美元补贴' />一位网友回复说:那你就能发论文了……
> 我喜欢这个,很想参加。有没有可能计入博士学位的学分呢?
有网友表示,如果大学有这样的课程学分,那将是一个好主意,它可能比ML研究生的许多课程更有用。
不过,对于500美元的资金支持,也有人提出了不同观点。
> 一篇好的论文,不就是应该提供代码和数据,支持一键重新运行吗?这样(复现)很难成为一个项目。
> 这些提供高质量代码和数据的论文,难道该激励的不是它们吗?而不是那些承担作者责任的第三方。
不过大部分网友认为这项活动很有意义,其中一些人表示,机器学习领域的确有不少“无用论文”。
> 总是有论文说“相信我们这是有效的”,我们需要更多的论文来说明它们的失败。
> 根据我的经验,大多数度量学习深度模型都非常无用。
你怎么看?
# 时间安排
挑战现已开启,在 截止时间 ( 2021年7月15日 太平洋夏令时间23:59)之前,挑战者可以随时提交报告。
考虑到编写报告和改进结果需要时间,因此在挑战截止日期后两周内,举办方将接受最终提交。
期刊特刊作者通知的截止日期为2021年9月30日。
想报名的小伙伴要抓紧时间啦~
参考链接:
[1]https://dagshub.com/pages/reproducibility-challenge
[2]https://dagshub.com/DAGsHub-Official/reproducibility-
challenge/wiki/ML+Reproducibility+Challenge+Spring+2021
[3]https://paperswithcode.com/rc2020
[4]https://www.reddit.com/r/MachineLearning/comments/np6eph/d_supporting_the_ml_reproducibility_challenge/
― 完 ―
量子位 QbitAI 头条号签约
关注我们,第一时间获知前沿科技动态