搜索结果 分类目录: 随感

十问大数据

在互联网时代,大数据炙手可热,许多人言必称大数据,但能够真正说清大数据为何物的人并不多,更遑论如何借助大数据挖掘出巨大的商业价值。究竟如何定义大数据?大数据有哪些特征?本文旨在厘清大数据概念,阐明大数据应用方式及探究未来大数据发展之道。

Q1:大数据是商业炒作吗?

业界给大数据的定义是4 个“V”:体量大(Volume)、种类多(Variety)、速度快(Velocity) 和真实性高(Veracity)。但这个定义其实并未抓住大数据本质。如果仅仅看这几个维度,大数据就是一种炒作,因为它们只是表面现象。

大数据的本质应该是如何为企业带来一种更新更好的商业运作模式,而大数据应用的成功,也是依靠决策者提出好的商业问题及与其相关的商业模式。这些商业问题可以非常简单,但问题背后必须有一系列相关的商业模式。

继续阅读 =>

从来只有老师请学生 (访美札记之四)

D是我今年暑假才认识的一个朋友。他和我的研究领域不相关,暑假来浙大访问,和我们学院的另一个课题组合作。期间偶然拜访了我们实验室,并在小组内做了一次演讲,一见如故。我推荐他在不同地方做了另外三场演讲。D住在我们小区一个月,每天早上在小区内跑步,穿了一件有很多很大的破洞的圆领衫,1.80的细长个子,在做早操散步的大妈面前像一只大鸟飞过,很是吸引眼球。

我们到达美国的第一站就是回访D所在的学校N,正好赶上10月19日的一场橄榄球比赛。D的学校我之前从未听说过,到了后听D的详细介绍才有所了解。这所学校位于美国中部,创立于19世纪中叶,是全美非常有名的天主教立校的保守学校,校内有一所漂亮的天主教堂。学校属于小而精的传统美国名校,本科教育蜚声全美。由于宗教、传统和橄榄球队的影响,校友归宿感极强,校友网络遍布全国,每任美国总统都要来学校参加一次毕业典礼。学校管理的基金达90亿美元,相当有钱和人性化:本校职工去世,帮助安排其家属就业;本校职工的小孩读私立大学,学校会赞助一半的学费。

D的家族史可谓是中国近代史的一个缩影。他是广东人,上几辈一直遵循一种广东人出国的传统:父亲在美国打工,成年后娶妻生子将家庭留在广东生活,等后代长大后再带到美国工作。他父亲1950年代返回广东,死于文革。1978年他考上W大学,两年后被在美国的舅舅接到旧金山读大学,1992年毕业于普度大学。读博期间认识了现在的太太,来自东北的H教授。H教授性格大方,善于交际,从事的研究方向和D不一样,但都是计算机学科。学校为了留住D,把夫妻两人招到一个系,两人办公室在隔壁。H教授善结人缘,当过学校的副校长。D性格则相反,个性清高,研究之余,痴迷于中国古代文学,喜欢作诗吟词,静思长想。

D善于总结和思考,喜欢用隐喻描述事物,描述概念、讲道理通俗易懂。尽管H在外呼风唤雨,在内却全然听命于D。他们的两个双胞龙凤胎,许是因为结合了两人的优点,分别考上了哈佛大学和麻省理工学院。全家可谓是功德圆满。

D非常健谈。看橄榄球的那日,他的一个在外州做教授的学生专程坐飞机回来和我们一起看球。D包吃包住。在餐厅吃完晚饭,D一定要付帐,慷慨激昂地说了一句:做了教授,工资每年有20多万,花都花不完。和学生吃饭,从来只有老师请学生,这样才有老师的样子。我觉得这是他说的话中最有趣的一句。

大学学费和经费 (访美札记之三)

几年前听说美国大学学费很贵,斯坦福大学的图形学教授Marc Levoy抱怨他的儿子读不起斯坦福的本科,觉得蛮奇怪的。这次访问了2所全美相当有名的私立大学以及4所公立大学,听其中的一个教授C说起,才知道美国私立大学确实要价不菲。大学四年读下来,学费、生活费加起来要20多万美元了。C教授说,他们学校比较仁慈,本校职工的小孩考上私立大学,学费的一半由学校承担,因此他的两个上哈佛、MIT的双胞胎读书的压力就不太大。中国大学的学费相对来说不高,类似于美国的公立大学。但美国的公立大学整体上的本科教学质量远远不如私立学校,因此美国的学区房也是炒的火热(例如,硅谷的学区房是中部的4倍)。中国目前没有好的私立高校,质量最好的高校仍然靠国家拨款。最近中国提出的高校去行政化可能是高校体系改革的前奏。

到了研究生阶段,除了少量自费的学生,大部分学生(特别是中国、亚洲等地)都需要申请学校的助教(教务处)或助研(导师的经费资助),在导师的课题组从事研究活动。美国读博士需要交学费,大概一年4-5万美元,由导师的经费出。导师经费再出生活费一个月1500-1800美元(中期考核前后有区别)左右,相当于美国普通店员的收入。因此,美国科研经费里70%是人工费。CS博士毕业起薪8万左右。

与之相反,中国读博士不需要交学费。浙大规定博士学生中期考核后3500-4300每月(其中导师出一半,必须是人工费),相当于中国普通群众的收入。但是,中国科研经费里10%-15%是人工费。CS博士毕业起薪8万左右。

具体到IT行业,中美两国目前都很景气,工业界对学生的吸引力很大。计算机学科的学生真正愿意读博士的大体有两类:真正有兴趣做科研的(美国牛校中最顶尖的还是美国人,因为他们是为了兴趣而读博)、或者为了赴美/读博而读书(美国一些中部学校50%的研究生都来自亚洲;浙大很多博士生来自非211高校)而必须读博的。

现在,在各个国家的各个高校,招合适的博士生进入科研队伍,是计算机学科的导师的头等大事。

在合适的地方做事情 (访美札记之二)

一大早看到一篇关于阿里云前CEO王坚的爆料文章,顿时冒了一声冷汗。王博士之前的光环一大片,但仅限于学术。自从投身互联网企业,烂评如潮啊。出身于杭大心理系,却做了一款漫游故宫的虚拟现实演示,一举成名,时间远远早于浙大CAD实验室拿下全国第一个虚拟现实973项目。后被北大董士海老师作为中国最牛的图形学人才(?)推荐到微软亚洲研究院。在微软时,也算成功,智能墨水赢得一片舆论。但MSRA是个靠做论文吸引眼球的地方,做的很多东西华而不实,而公司是只讲效益不讲道理的地方,所以做的不如意也正常。

 

由此,事业是否顺心,个人的求职定位非常重要。适合做论文、搞新想法的,就在高校里呆着;喜欢实干、码代码的,就去公司;能做原型系统、又能偶尔发发高等级论文的,选择大公司的研究机构;擅长沟通、心理素质强的,考虑去政府部门。如果硬拉郎配,选择自己不喜欢的地方,可是要到大霉的。

 

这次在美国逛了不少地方,正反的例子都见到。只讲两个正面的例子吧。

 

教授M,博士毕业后领导美国最大的可视化团队,学术组织担任各种组织,还获得业内大奖。凭借他与合作单位的影响,各位应该觉得他有不少产品吧?NO。到目前为止他一个软件注册、一个专利也没有。前段时间有硅谷公司找他创业,他也一口回绝。他的说法是,这一辈子做做研究,家庭幸福,到处有朋友,每年几十次国际旅游开会,很舒心。

 

博士R,毕业于美国CS排名第一的名校。该校由钢铁大王创立,初期是工程师的摇篮,中国桥梁大师茅以升是它的第一个毕业博士。该校培养学生的宗旨是,研究和工程能力兼备。R博士毕业后,精心选择了一个企业研究院,以其精细神准的做事风格,迅速立足,短短两年内连升3级,近期传闻快要升到公司VP级别。与他同期毕业去美国高校任教的同学,有些从高校退出,有些则因为研究方向不景气还需要从他手中获得资金资助。

 

分布式存储还是云存储

项目最近遇到一个预期中的问题:数据量急剧增加。由于前期的数据都是集中式管理,模型数据存于数据库,地形高程数据和影像存于文件系统,数据增加后现在需要换到分布式系统。为此我们做了一些调研,包括目前主流的GIS数据管理方式以及最新技术发展。主流的数据管理以武汉大学为代表,数据存于分布式关系数据库Oracle上,构建多级缓存提高数据访问效率。通过与武大遥感实验室沟通,他们也反映目前数据读取仍然不够快,特别是模型较大时延时很明显。另外,也有一些单位将数据通过云平台进行管理,浙大的地理系就做了这样一个系统,非结构化数据(遥感影像)存于HDFS,而元数据等结构化信息存于HBase。但是与他们交流说同样存在读取效率不高的问题。究竟采取哪种技术好呢? 继续阅读 =>

天净沙·VAG——闻VAG八大博士有感

盛夏不谢(解)梅花,

大海方舟丁划,

血马飞起朱砂,

VIS小(晓)心(芯),

VAG闭关不假。

 

工科生写词果然比较纠结,只能憋出这么两句意境很牵强的……

就当抛砖引玉啦,看到点名的各位欢迎改编

[ZZ]我与微软,一面之缘

作者:伪文艺男师兄dzy

Microsoft,这家诞生无数奇迹的公司,和它大名鼎鼎的创始人比尔盖茨一起,自十数年前就已经扎根于我的脑海。藉着VIS会议的契机,更兼有老朋友在其中工作,于是毫不犹豫的在行程安排中,敲定了这一项。

开完VIS,告别了佳逸,子昂和伴随我们6个不眠之夜的西雅图,乘bus北上前往微软总部的所在地,雷德蒙德。前几日和微软亚洲研究院的刘世霞老师简单的交流过,得知他们也在同一时间前往微软总部,心中窃想,若能有幸在微软总部再次遇见,必定能讨教到更多形形色色的微软。

继续阅读 =>

“温馨”的VAG ——罗月童老师访VAG有感

作者:罗月童老师,合肥工业大学计算机与信息学院副教授,主要从事可视化及其在核能领域的应用研究(http://cadcg.hfut.edu.cn/luoyuetong.php )。2012.7.1-2012.8.28期间在VAG小组交流学习。

访问高水平研究团队,是科研人员开拓研究思路、提高研究水平的重要途径。作为从事可视化方向研究的老师,很高兴有机会前往VAG小组(浙江大学CAD国家重点实验室可视分析小组)进行为期两个月的交流学习,和VAG小组进行了亲密接触。在此期间,结识了李昕、陈伟峰、陈海东等一大批朋友、与陈为老师进行多方面的深入交流、与张嵩老师建立了合作联系,收益颇多。VAG的很多方面都给我留下深刻映像,其中之一就是洋溢于VAG的“温馨”气氛。

VAG能在具有“拼命工作”传统的可视化、图形学领域脱颖而出,所以我想当然认为VAG应该也是一个气氛很严肃的地方——每个人都埋头苦干,不苟言笑。但两个月的接触完全颠覆了我的看法——发现VAG是一个具有浓郁人情味、充满了“温馨”气息的小组。我六月下旬和陈老师联系到VAG交流联系,陈老师很快给了我回复,而且让朱斯衎同学接待我,朱斯衎非常详细地提前告诉我住宿情况、交通情况,在我到VAG之后,又在37度的高温天气下帮我安排住宿、办理房卡等等,让我在陌生的地方不感到“陌生”,能够很快进入工作状态,感受到VAG的人情味。到VAG之后不久,就到“外婆家”参加了一次VAG的聚餐,席间我很吃惊地见到陈老师和同学们非常“随意”地交流、开玩笑,不由感叹原来师生之间也可以这么相处?交流期间,我多次和陈老师多次讨论研究方向选择、学生管理、研究方法等问题,每次陈老师都能从不同角度与我分享他的观点,非常平易近人,让人感到容易接近,乐于与之交流……

电视剧《亮剑》中有句台词:“一支部队的传统与性格由这种部队组建时首任军事首长的性格与气质决定的”。我想应该陈老师的“强人兼好人”的优秀品质造就了VAG的“温馨”气氛——我认为这种气氛能让大家更自由地交流、更快乐地工作,从而能造就更强大的VAG。

虽然仅在VAG交流学习了两个月,但其“温馨”的气氛给我留下了深刻印象。在此感谢陈为老师提供这样的机会,感谢朱斯衎、李昕、陈伟峰、陈海东等同学在工作、生活上给予的关心和帮助,也愿VAG小组越来越强大!

VAG小组优秀毕业生李逢博学习心得

注:李逢博 @李逢博,2012年本科毕业,大三时进入实验室,作为主力参与信息可视化的研究,围绕NSF的基金数据开发了一个有趣的可视化在线系统,是VAG的优秀本科毕业生,已经赴美Georgia Tech大学继续深造,这里是她总结的一些学习心得与大家一起分享。 继续阅读 =>

VAG小组优秀毕业生吕能学习心得:在线教育

注:吕能 @吕能,2012年本科毕业,大三时进入实验室,作为主力参与网络数据可视化的研究,发表Pacific Visualization论文一篇,是近年来VAG组最优秀的本科毕业生。

他9月即将赴美UCLA大学深造,临行前,与大家分享在线教育心得。

如何才能更好地推广教育、传播知识?Stanford大学的Andrew Ng副教授和Sebastian Thrun教授给出了与众不同的答案:他们分别创办了Coursera和 Udacity这两个在线学习网站,将优秀的课程直接呈现到了每个人的电脑前,为教育的推广与知识的传播提供了极大的便利。这一举措将获取知识的成本降到了极低的限度——网络、电脑以及个人时间。同时也使得在线教育这一概念获得了极大的关注。

 

在线教育形式简介

在线教育从互联网诞生起就一直存在着,目前主要分成4种形式:第一种以学习者个人的提问与线上回答为形式, 特点是知识零碎,以点的形式进行传递,Stackoverflow等网站提供的服务内容就是例子;第二种以经过系统整理的文本为形式, 特点是知识系统有条理,wikipedia与 Zed A. Shaw提供的”Learn Code The Hard Way”等就是例子;第三种以在线视频为形式,哈佛大学的幸福课程、MIT的算法导论等著名的视频就是例子;第四种则是结合了视频、论坛、作业等内容的在线学习网站,以交互性、系统性为特点,有Coursera、Udacity及edX等。各种形式都有其优点及适用范围,因此它们至今共生发展着为人们提供在线的知识。

 

Coursera在线教育模式

当前兴起的在线教育,在模式上突破了传统的“单向灌输”,通过利用视频,论坛,习题等构建起了一个双向教育的平台。在这一平台中,学生首先要选择自己感兴趣的课程并进行注册。课程开始以后通过观看视频来获取课程知识。各个知识点讲解后都会立刻以单项选择、多项选择或者填空的方式进行测试,检验学生对于相关知识的理解。每道题均会给出正确的答案及解释以帮助学生提高。此外,每周的课程都会有伴随的课程大作业来进一步巩固所学的知识并提高学生的动手实践能力。每门课程所对应的论坛都能为学生提供克服学习过程中遇到困难的帮助。论坛中以“先进帮后进”,学生之间相互讨论促进的形式学习;讲课教师偶尔也会出现并答疑。通过这一“观看视频-随堂检验-课后作业-论坛讨论”的模式来完成传播知识的目的。此外,若学习者能够跟上课程进度并表现出色,最后还能得到一份课程完成证明。

 

在线教育与课堂教育的关系

在线教育的快速发展也在网络上引起了一场其能否取代传统高等教育的讨论。由于其便捷性、灵活性以及低成本的特点使得许多人对其进一步的推广甚至是取代课堂教育持非常乐观的态度。但我们在看到优点的同时也要认识到在线教育所具有的一些局限性:1. 适用范围有限,众多课程无法适应在线教育模式;2. 交互性存在一定缺陷,无法做到教育者与学习者的实时交流。3. 忽略高等教育中的非知识因素,无法去学习同学和老师的思想、性格。

 

综合以上的优缺点,目前的在线教育在整个教育过程中更适合扮演的角色应该是简单、基础知识的传播者以及课堂教育的额外补充。

 

一些在线教育学习网站:

Coursear:https://www.coursera.org/

Udacity:http://www.udacity.com/

edX:https://www.edx.org/

MIT OCW:http://ocw.mit.edu/index.htm

Zed A. Shaw Programming Language:http://learncodethehardway.org/

第 1 页,共 3 页123