为了1万美元奖金,他作弊拿到Kaggle比赛第一名,之后跳去硅谷明星AI创业公司,现已被封号

郭一璞 发自 海淀
量子位 报道 | 公众号 QbitAI

Kaggle出骗子了!

在马来西亚宠物福利平台PetFinder.my主办的宠物领养预测比赛中,获得第一名的Bestpetting团队被人发现采取了作弊的方式,骗走了一万美元奖金。

比赛结束9个月后,一位奥地利小哥哥扒出了第一名作弊的证据,而昨晚主办方正式公布了详细信息,并更正了排行榜。

但是,由于奖金已经发出去了,这笔钱无法追回。

作弊团队的队长来自硅谷明星AI创业公司H2O.ai,现在,他Kaggle Grandmaster的账号已经被封掉。

把假成绩混进代码

揭露作弊行为的,是这场比赛真正的第五名,刚毕业的奥地利小哥哥Benjamin Minixhofer。

比赛结束后,获得第六名的他在帮主办方PetFinder.my将第一名的方案产品化,然后就从中发现了端倪。

原来,第一名用了外部的猫狗照片数据集,数据集里包含照片和一个.csv文件。

照片是没问题的,但.csv不对劲。

他们在里面放了一个有问题的ID hash,并搞到了主办方的私有测试集,编码了私有测试集的标签。

所以运行的时候,只要再解码就行了。

为了防止成绩太夸张,他们只用一部分解码后的结果,这样成绩看起来比较真实。

而这一切小动作,都被作弊者层层嵌套,代码可读性非常差,而且看起来好像很正常毫无违和感。

最终,作弊团队的分数达到了0.509,高居排行榜第一位。

现在,他们的成绩已经从排行榜上被删掉了。

也正是因此,排行榜上后面的所有参赛者名次都提升了一名,北航硕士spongebob进入了金牌获得者名单,刚好凑够了Kaggle竞赛的第五枚金牌和第一枚个人金牌,顺利升级成了Kaggle Grandmaster 。

让我们恭喜这位同学!

混进明星创业公司的骗子

被发现作弊的团队3人都是俄罗斯人。

队长Pavel Pleskov,拿到宠物领养比赛冠军后,过了半年跳槽去了加州山景城的H2O.ai公司做数据科学家。

这家公司去年夏天D轮融了7250万美元,大概5个多亿人民币,在硅谷也算明星创业公司了。

这场比赛主办方PetFinder.my的声明贴的评论区有用户评论说:

不知道H2O.ai的人知道员工里有骗子+小偷的时候心里咋想的?

现在,他的Kaggle账号已经被官方404了,主办方称有证据表明他是这场欺诈活动背后的关键角色。

但这位老哥似乎还有一些黑色幽默,他把自己的LinkedIn和Twitter简介改成了Former Kaggle Grandmaster,生怕别人不知道似的。

MIT CSAIL还关注了这位,不知道有没有热心观众提醒一下他们的小编取关一下这位名誉扫地的盆友。

更尴尬的是,他还曾专门就“如何成为Kaggle Grandmaster”这个主题进行演讲,甚至俄语的演讲视频在YouTube上都有20000多播放,获得了评论区的一众感谢。

△ 评论区是英文和俄文,此处为自动翻译

真·大型尴尬现场。

被发现作弊的团队的第二个人和第三个人是Narek Maloyan和Fedor Dobryanski,他们的账号倒是没有404,现在还是Kaggle Expert。

由于取消了金牌,这第三位老哥被从Master降级了。

评论

最后,虽然发现了作弊者,但Benjamin小哥哥还是不太开心,感觉花了很长时间在做一件上当受骗的事情。

他觉得,在比赛中拿到奖金的人,必须开源他们的方案,这样才能把欺诈行为减少到最低。

许多人称赞Benjamin Minixhofer的贡献和发现,纷纷称赞Great work:

非常亮眼的逆向工程技巧!谢谢你为Kaggle和比赛主办方做出的杰出贡献和辛勤工作。

有人愤愤不平,认为只封掉作弊队伍队长一个人的号是不够的,另外两个人也应该受到惩罚:

主办方也非常难过,他们觉得,堂堂一个Kaggle Grandmaster,竟然在一场为动物谋求福利、拯救小动物生命的比赛中为了钱而作弊,实在是可悲。

还有人觉得,Kaggle现在有了太多的“刷简历”意味,导致这个平台出现不公平竞争:

如果不牵扯金钱和职业前景,竞争状况就会好很多,这个骗子搞不好就是靠作弊拿到了顶级硅谷AI创企数据科学家的职位。此外还有很多作弊方式很难被发现。作弊的工作量很大,但并没有起到真正的作用,且破坏了比赛公平。因此,如果比赛不再有那么丰厚的金钱和名望奖励,作弊也就不值得了。

传送门

最后,如果你想知道Benjamin Minixhofer发现作弊的完整过程和代码,可以移步他在Kaggle上发表的文章:

https://www.kaggle.com/bminixhofer/how-bestpetting-cheated

版权所有,未经授权不得以任何形式转载及使用,违者必究。