现在这波machine learning 和data analytics的热潮和20多年前excel 热潮有相似的嘛?
登录 | 论坛导航 -> 华新鲜事 -> 心情闲聊 | 本帖共有 13 楼,分 1 页, 当前显示第 1 页 : 本帖树形列表 : 刷新 : 返回上一页
<<始页  [1]  末页>>
作者:近国 (等级:3 - 略知一二,发帖:172) 发表:2017-09-13 12:35:29  楼主  关注此帖
现在这波machine learning 和data analytics的热潮和20多年前excel 热潮有相似的嘛?
突发奇想,觉得现在数据分析的热潮在20多年前也有一波。当时是excel, 职场的人也是一窝蜂的去学excel,更高级的去学vba.

现在这波行情是不是很像,调参数的类比用excel; 做模型的类比学vba. 这样一想,大数据改变社会,也不过是excel 改变社会的一次重现嘛。
---
该帖荣获当日十大第8,奖励楼主4分以及6华新币,时间:2017-09-13 22:00:03。
[本文发送自华新iOS App]
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版所有回复从这里展开收起列表
作者:近国 (等级:3 - 略知一二,发帖:172) 发表:2017-09-13 17:44:05  2楼
不明觉厉所以现在做data science有前途么? 我目前正在搞这个,觉得data science在医疗和金融领域的分析还是有一定作用的。
挺有前途的啊,
医疗和金融都是数据够大的领域,做出来成绩只是个时间问题。

但行业有前途,人就不一定有前途了。未来的趋势是machine learning 和 data science 越来越平民化和工具化,不需要很深的理解也可以拿来用。你想想 相机->傻瓜相机->手机上的摄像头这条发展道路。类比data science, 未来可能不需要那么多能证明learning model 或者速度优化或者精确调参的专家。需要的只是个可以点点鼠标,解读解读数据的人。
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版所有回复从这里展开收起列表
作者:近国 (等级:3 - 略知一二,发帖:172) 发表:2017-09-13 17:51:06  3楼
不一样硬件改进了,很多东西能做了,不要总拿过去对比。
不是硬要比,
只是想探讨一下data science 的发展。历史或许可以给我们一些insights, 也许不行。如果不行的话,那未来的data science 会怎么发展。

另外我其实觉得,20多年前,也是硬件的进步。电脑微机化和廉价化也在但是造成了深远的影响。Excel 特别是pivot table, formula 和 VBA 也把很多但是不可能的任务变得可能。以至于今天,我们都认为这些任务是理所当然的简单。
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版所有回复从这里展开收起列表
作者:近国 (等级:3 - 略知一二,发帖:172) 发表:2017-09-13 17:51:20  4楼
这波machine learning只是为下波做铺垫。
愿闻其详
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版所有回复从这里展开收起列表
作者:近国 (等级:3 - 略知一二,发帖:172) 发表:2017-09-13 17:57:01  5楼
er… Excel有过热潮?我还以为一般人会拿AI跟big data比
有啊,上个世纪90年代。
直到10年前,甚至五年前;不都流传着“投行excel 技巧大全”和“投行求职必知的excel 快捷键”吗。当然现在excel 变low 了,也没人吹投行的人excel 有多厉害了。
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版所有回复从这里展开收起列表
作者:近国 (等级:3 - 略知一二,发帖:172) 发表:2017-09-13 18:02:12  6楼
Excel改变过社会吗我怎么觉得从我上学开始就大家都会excel呢
从excel 被发明前到现在,
有一段时间, excel 极大的提升了工作效率。创造了不少需要excel 技能的岗位,也减少了很多人工计算的工作量和岗位。当然现在excel 已经变成每个人的必备技能了。

会不会20年后,data science 和machine learning 也变成了每个人的必备技能。但大部分人使用起来,也就是点几下呢?
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版所有回复从这里展开收起列表
作者:近国 (等级:3 - 略知一二,发帖:172) 发表:2017-09-14 16:29:09  7楼
做的人很多真正懂得人很少做的人很多,真正懂的人。会调参数,会推公式有很强的工程能力能够把解决方案落地的更加少。不要觉得跑个模型,整整数据就是Data Science,真正的Data science需要有处理百亿样本、千亿特征的能力,这些东西都不是简单的调包侠就能做的
能有高水平的data analytics 能力的人的确很少

但未来会不会把这些高水平的能力都封装在一些软件和服务里面,大部分人都只需要一些低水平的数据科学能力就可以从事工作了呢。excel 现在这么流行,也不见得所有的人都要懂 VBA吧。

 

类比一下: 

高水平数据科学家: VBA experts 

大路货数据科学使用者:Excel user 

 

PS: 我的观点是:Data Science 这个东西肯定会火。但不一定所有data science从业者都能从中享受分红,甚至一些data science 从业者会被大潮背弃。而且和主流观念不一样的是:懂得越多反而可能危险。因为未来可能不需要这么多 高水平数据科学家,就像现在不需要这么多VBA experts 一样。

一家之言,欢迎讨论。

欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版所有回复从这里展开收起列表
作者:近国 (等级:3 - 略知一二,发帖:172) 发表:2017-09-14 16:34:09  8楼
ML正在一个domain一个domain的搞啊下围棋的domain knowledge该多吧,也被搞了,而且搞出来人类理解不了的domain knowledge
ML 最有趣的一点是:
人觉得很难的任务,机器搞起来不一定难。但人觉得简单的任务,机器搞起来不一定简单。

预测在哪个domain ,机器能干过人类,甚至替代人类,就变成了一个很有意思的问题。您作为从业者,对这个问题有什么看法吗?
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版所有回复从这里展开收起列表
作者:近国 (等级:3 - 略知一二,发帖:172) 发表:2017-09-16 11:17:14  9楼
你说这个说明你不动DataScience你用Excel来说Data Science,只能说明你不懂机器学习。
我的确不太懂Data Science,
但不妨碍我按我的理解对这个领域进行一点小小的讨论。

如果觉得我水平差,不回我的帖子就行了。不用对我的知识水平做评估。如果想对我的观点进行驳斥,欢迎讨论。如果想人身攻击,欢迎离开。
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版所有回复从这里展开收起列表
作者:近国 (等级:3 - 略知一二,发帖:172) 发表:2017-09-18 10:55:32  10楼
说一下国内的情况我在国内的互联网公司工作了4年的时间,一直在做机器学习相关的工作。很抱歉国内做算法的人通常也要有很强的工程落地能力,把算法的模型和改进通过提需求的方式让工程团队实现,本来就很不现实,沟通成本太高。百度之前广告上的深度网络,RNN等模型都是算法团队自己开发和调参的。把机器学习当成简单的调包侠绝对是对这个工种的侮辱
多谢分享
这个对实力要求真的很高啊。从渐进性和收敛性证明到编出来具体的算法,再加上数据库,并行运算以及具体工程方案落地。这基本上是要求一个人干了 数学 PHD, CS PHD 和资深程序员三个人的工作。

PS: 我为我以前说的话道歉。 我不是要贬低data science, 我也是做这行的。虽然水平不高,但绝对没有对同行有任何不敬。只是为了激发大家的讨论,用了让人通俗易懂但可能不恰当的类比。
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版所有回复从这里展开收起列表
作者:近国 (等级:3 - 略知一二,发帖:172) 发表:2017-09-18 19:24:32  11楼
现在拿企业跟高校比有点不公平做这些research最最重要的就是数据,但是高校没有啊!数据都在企业。长远来看,research是搞不下去了,各公司都有自己的系统,也没办法发paper互相交流,能发paper的肯定是过时的技术,所以后面高校、科学院这些地方会慢慢被企业抛弃。
我觉得不至于,业界有盈利的压力。
工程性问题的确能做的好。也有巨大的数据量。

但开发新算法,还得看科研界。
[本文发送自华新iOS App]
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版所有回复从这里展开收起列表
作者:近国 (等级:3 - 略知一二,发帖:172) 发表:2017-09-21 21:08:56  12楼
一个时代的来临刚好在十多年前学的excel和计算机,最近也关心了这个热门话题。另外苹果face id令人印象深刻,建议去看下他们的demo。 短期实际效用可能不会很明显(或者如一部分人期待的大革命和大冲击),但是以更长时间看10年-20年,大概率是巨大革新。 有三个观察 1)AI和ML并非新技术, 而是一个技术积累后的厚积薄发,以及实用性/应用性和性价比的提高。 有很多类似的例子 - touch 屏幕最先Nokia就有,Apple手中发扬; PC机80年代就有,直到90年代后爆发;太阳能技术60年到就有,直到21世纪才爆发; 90年代末的生物科学发现,在10-20年后开始很多药理应用。 2)条件已经具备。 Excel/VBA的普及和跨越离不开硬件;同样AI/ML的硬件已然具备。 就像下面有同学说的,计算机能力提高, 各种sensor带来的数据,移动云能力(随时随地access 同一个数据库),这些让AI 和ML普及奠定了必须基础。 3)科技进步是指数发展的。 我以前曾认为AI短期可能是10甚至20年没有大影响。考虑到当今技术革新的速度(比如,手机CPU比1一年前高25%性能,5G速度对4G宽带倍数提高),很有可能5-10年就会有很明显的影响(注),而一些行业会更早,如上面提到的金融。 其实这个结论似乎是显然的。 对于年级稍大的人来说 (more...)
多谢过来人的高质量回帖

正好以前辈的回帖为契机,来表达一下还没表达清楚的观点。顺便小结一下这个帖子。


1) 工业界和学术界在大潮之中的定位


大数据时代,数据成了最重要的资源。学术界没有像工业界那样拥有第一手的数据,表面上看起来,的确处于劣势。但不要忘记,统计这门科学,本来就是在数据稀缺的时代被发明的。统计的本质就是从有限甚至少量的数据中推断出普遍的规律。只要人或者机器不能达到全知全能,统计这门科学就有意义。

而且,machine learning 能够 work 的两个基本前提是数据有代表性和Chebyshev's Inequality。(当然,大部分数据从业者可能认为自己搞出来的东西能 work 的原因是自己吊。)现实中,数据量不满足Chebyshev's Inequality的情况比比皆是。比如说金融数据,数据量不足和heteroskedasticity 给 machine learning 在金融中的应用带来了巨大的挑战。在这种情况下,开发新的,数据需要量小的/收敛速度快的模型就变得非常有必要。而这种活,一般都是学术界干的比较好。

2)数据科学的前景

大部分人都不会否认,数据科学前景巨大。但到底是什么样的前景,有多巨大,每个人可能都有自己的理解。不管怎么理解,祝大家在新的浪潮中弄潮愉快。
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版所有回复从这里展开收起列表
作者:近国 (等级:3 - 略知一二,发帖:172) 发表:2017-09-22 14:28:44  13楼
你是统计出身啊heteroscedasticity
不是统计出身的,
搞time series 都会知道这个heteroskedasticity
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版所有回复从这里展开收起列表
论坛导航 -> 华新鲜事 -> 心情闲聊 | 返回上一页 | 本主题共有 13 篇文章,分 1 页, 当前显示第 1 页 | 回到顶部
<<始页  [1]  末页>>

请登录后回复:帐号   密码