数据挖掘哪家强？谈谈数据科学家们眼中的Kaggle、天池和DataCastle…

本文获得知乎作者老王TEVC授权

随着人工智能众多分支学科，如，机器学习，数据挖掘，演化计算等，在理论上不断成熟。云计算、分布式计算，在理论和技术上不断突破新的瓶颈。“互联网+”、“工业4.0”、“私人定制”等思想概念的引领下，“大数据”不可避免地变得越来越火，越来越热，直接导致大数据问题的分析和解决越来越成为全球众多领域科学家们的新课题。

近些年，也自然地产生了一些大数据问题实践的平台， 如Kaggle、天池、DataCastle等。那么，这些主流平台有何区别呢-笔者从以下几个方面浅谈之，能力有限，不周或错误之处欢迎读者指正。

一，赛题方面

对参赛者而言，比如我自己，关心的是：赛题的趣味性，赛题对个人能力提升的作用以及公平性。笔者认为，天池平台整体上更加“亲民”。Kaggle等离线数据量大，但较天池的在线数据少，PC低配的数据玩家有门槛。

(1)赛题趣味性：

这个可能容易偏见。举几个例子感受一下吧。1，智慧交通，让算法提前知道重要路口的路况，解决有车族交通拥堵烦恼。2，移动推荐，让算法推荐您喜欢的商品，解决您一直以来的选择恐惧症。3，穿衣搭配，让算法成为您购物时的搭配专家，解决您一直以来“不会穿衣打扮”困扰。4，阿里音乐，让算法提前告诉你哪个艺人未来会火，解决您一直以来“老抱错大腿”的尴尬。5，......等。趣味性怎么样-

(2)赛题对个人能力提升作用：

首先，笔者一直认为，一个人的能力之一是解决分析问题的能力，尤其是分析问题的能力。这在赛题上，需要提供具体含义，具体业务背景，否则，一堆数据是无法让您大脑有恰当的思考和想象的。 这一点，天池不仅提供数据表，还会有具体的含义说明。 这样您的一些想法，不仅可以知其然，还可以知其所以然。而Kaggle, DataCastle上现有的大部分赛题提供的数据是没有具体含义说明的，甚至直接给您一堆不知含义的特征样本。

(3)赛题的公平性：

大数据赛题。公平的基础是数据量要大，能良好地选择出优质的算法。我想很多参加过比赛的选手可能都会有这样的感受： 一个算法的性能好坏直接受到数据量的影响。在离线数据方面，Kaggle的离线赛数据虽比较大，但也使得一些低配置的PC可能玩不起来。

天池离线数据量比Kaggle要小，平台数据比Kaggle和DataCastle都要大，这种方式对于PC配置没那么高的选手来说更加合适，也有利于选手对数据的分析和理解，整体上更加公平(平台赛还避免了小号引发的不公平现象)。

二，大数据计算平台

如何让想法“飞”起来-需要大数据问题与平台使用的结合。天池的模式更是一个众智开放的平台，而不仅限于几场比赛。

大数据问题与大数据计算平台是一个整体，谁都缺少不了谁。对于大数据竞赛爱好者，不仅兴趣于解决大数据问题，而且也有必要体验和(至少)学会使用问题配套的大数据计算平台。

这一点，我想对大部分IT技术男来讲是一个共识吧。也就是，分析解决问题能力很好，但是不会使用大数据平台，甚至对大数据平台的计算能力没有一个基本体验，是一件十分难受的事情，也无法让自己想法“飞”起来。

三个平台中，目前看，只有天池是唯一算得上提供了计算平台的，在一定限度内，能够使用阿里云计算资源做数据开发和算法开发。这一点上Kaggle和DataCastle都不具备，这也是为什么天池更像是一个众智开放的平台，而不是局限于一个大数据竞赛。当然每个队伍能使用的计算资源有一定限制，但即便限制下，速度也非常了不得的。

三，影响力

对许多选手而言，包括笔者，都会或多或少地考虑平台影响力的问题。平台影响力对一个选手的重要性无须多说(这个道理和考985，211高校， 去名企工作差不多)。

Kaggle属于目前国际上比较成熟的数据竞赛平台(成立于2010年)，主要是欧美玩家，整体素质较高。

天池平台以众智的形式，目前已经累计举办25场比赛、有全球40个国家地区、1600多所学校的3万多名数据爱好者参与。在国内来看，天池的冠军含金量非常高，且在国内BAT阵营中，入职要求已经明确提出参加过天池大赛的优先录用。

DataCastle是目前在国内刚刚兴起的一个大数据竞赛，具备一定的条件，相比前两者来说，规模和影响力有限。

四，激励

没有永远的冠军，只有不断的超越。

奖金：Kaggle最多，其次是天池，DataCastle在奖金激励上远不及这两者。

数据科学家排行：Kaggle和天池都有数据科学家的排行榜，DataCastle当前没有。

人才认证：除了天池，另两个都还没有。这种技术证书，随着天池的不断发展，越来越成熟和权威，也会变得越来越有用，当然，也会越来越难拿(不妨，先下手为强)。

其他激励：

粮票激励(天池独有)。可以通过不定期的活动，参加公开大赛，和参加挑战BaseLine赛(天池永久开放了部分历年赛题的冠军排行榜，只要能超越冠军的算法都将晋级成功，PS：这个还能获得其他激励，详情见：https://tianchi.shuju.aliyun.com/getStart/index.htm-spm=0.0.0.0.MPesZB&id= 此外，天池部分赛题还会有每周有周星星激励，比赛结束会根据排名发礼品券。

一张图看懂三个大数据竞赛平台：