漫游云时代:全球mesos巅峰对话访谈实录

前言:Mesos中国拓荒者王璞在美国到访各路大家:Li Haoyuan,Dave Lester,Florian Leibert,Reynold Xin ……技术之巅,风云际会,聆听浪潮。以下为访谈实录。

第一站:@Tachyon Nexus,Berkley

同为技术人,大洋彼岸的他们商业压力较小令人羡慕

Tachyon Nexus 这家以旗下分布式内存文件系统Tachyon①闻名的公司是王璞的第一站。Tachyon的创始人、Tachyon Nexus的CEO Li Haoyuan拥有伯克利大学Phd学位,曾经在北京大学学习计算机的他是王璞校友。他对王璞说Tachyon 刚刚获得A16z(美国著名风投机构) 750万美元A轮投资。Tachyon现在完全不考虑商业化,一心把这个开源的内存分布式文件系统做好。
“其实很羡慕他们,这是做技术人很梦想的环境,无商业化压力,做自己喜欢的事情。在一大笔投资上专心做。” 这也是跟李浩源聊完王璞自己最大的感受——美国技术创业环境拥有中国此时不具备的一点:无商业化压力。国内人才可能拥有和国外同行一个高度的技术,但是迫于生存压力必须为自己的产品留有付费口。

“美国新兴技术公司的背后有很多大公司等着收购。新技术可以没有商业化应用。只要技术上有价值,解决好一类复杂有痛点的问题,哪怕这个公司一分钱不赚,用得人越来越多,Redhat、微软一类大企业也等着收购它们。”王璞这样描述美国的新兴技术公司。投资人本身要考虑自己资金的撤出渠道,而美国的商业巨头们天然就是很好的收购方。这导致了美国的投资人对很多纯技术公司不要求商业盈利。而对比国内现状,百度等bat也会收购企业,但收购的企业以流量入口为主。 “在中国,2C可以不赚钱,2B不敢纯技术。” 这句略插科打诨的话多多少少说出了王璞一个纯粹踏实的技术从业人员的自嘲和无奈。 美国技术企业商业化压力小的第二个原因是美国许多VC本身技术出身,早年创业弄潮做的正是2b技术,经验十分丰富。国内VC从总体上看对技术的理解不够。

①Tachyon是美国加州大学伯克利分校的AMPLab开发的一个基于内存的分布式文件系统。

第二站:@Twitter,mesoscon,San Francisco

如何在虚拟机环境下运行mesos?Mesos和Tachyon结合可能性几何?

王璞做的Mesos是分布式资源管理的技术,这项技术是分布式管理、分布式操作最核心的底层。Dave Lester是mesoscon(全球Mesos大会)的主席,如今在twitter的他对王璞在中国做的商业化应用和社区推广很感兴趣。Twitter是Mesos最大用户,内部的集群基于Mesos管理和调动的,业内居领先地位。 Twitter最大的一台被Mesos管理的单个集群,有1万多个结点。

核心:如何在云上虚拟机环境下运行Mesos做分布式?

虚拟机硬盘IO(读写性能)很差。这对于在线业务问题不大,但给离线、线下的业务造成了很大困难。因为离线大批量处理数据势必要牵扯到从硬盘上读数据的问题。而且所有数据都用硬盘缓存是不现实的。“这时候我们采用Spark框架解决这个问题。Spark把所有数据中间结果缓存在内存部分,这让它尤为适合在虚拟机上使用。我们想完全打造一种基于内存的构架,非常适合灵活的虚拟机的分布式计算环境。”王璞对Dave Lester说道。 这一点让Dave Lester很兴奋,王璞的做法让他觉得很新鲜。因为Twitter本身不用虚拟机,而用Mesos管理物理机。这个解决方式一方面在于Twitter是纯私有的,不见得需要虚拟机。另一方面在于Twitter的IT实力很强,计算资源很庞大,需要Mesos规模化管理。

期望:Mesos能不能跟Tachyon结合?

作为mesoscon的主席,Dave要思考Mesos下一步怎么走、增加哪些特点。王璞对Mesos发展提出了自己意见,他和Dave讨论了Mesos能不能跟Tachyon进行结合的问题。如果Mesos对Tachyon上存放数据有一定了解,就能实现在处理数据时不挪动数据、让计算任务来找数据的结果。 因为目前Mesos管理的计算资源仅包括CPU内存,而底下的存储、网络都没有管理能力。王璞提出了未来Mesos能不能对存储也进行管理的想法。 这让Dave Lester觉得很有意思,当然实现起来相当也有技术难度。 新技术:Aurora——推特内部的任务管理调动工具 Aurora是Twitter内部的,与Mesos配合共同管理的操作系统。Mesos负责分配资源,Aurora负责任务管理调动。Dave推荐王璞也用Aurora,一是因为Aurora在推特内部运用成熟,二是因为Aurora十分强大,可以实现不同用户资源配合。针对任务管理,目前数人科技采用的是Marathon。

第三站:@Databricks

big data simple:深度绑定aws的Spark内存大数据处理平台

Cofounder Reynold Xin向王璞介绍道,Databricks把Spark部署在aws上,没有用像其他做法那样先部署Mesos再部署Spark,而是直接分布式集群上部署Spark。aws在北美市场拥有40%以上占有率,这对已经使用aws的用户非常方便。
Databricks面向各行各业提供解决方案,为aws企业客户提供服务,帮助部署Spark,在开源基础上提供商业化的产品比如漂亮前端可视化报表、行业建模工具,深度订制开发等深度功能。
由于深度绑定aws,Databricks并没有做其他云上的部署。

第四站:@Mesosphere

相似的同行、相似的阶段:核心分布式集群资源管理

Mesosphere做数据中心操作系统DCOS(Data centre operating system),和前面提到的Databricks一样它也把产品部署在美国大型公有云上。Mesosphere选择的是美国两大公有云aws和azure。

数人科技和mesosphere目前的业务很像,客户也都包括传统行业,比如Mesosphere涵盖金融、电信、政府各个领域。

对于传统企业客户,应用程序基于老的构架比如IBM,oracle,和分布式系统格格不入。这怎么办呢。

Mesosphere的CEO Florian Leibert 表示他们也没辙,他们只能对传统客户新业务或对互联网新兴客户采用自己的构架。

第五站:@DockerCon

无生态,不平台。No platform,without ecosystem

王璞在大会上遇到了Daocloud的喻勇,一番交流让他感触颇深。 “Docker有一个宏大的目标,它要把自己变成企业级运用分发部署的平台。这也是任何一个开源技术在商业化道路的必经之路。没有一项好的技术可以单单凭借自己的优越性解决所有问题,通往生态化的路上不可能只靠一家公司的努力,一定有众多合作伙伴一起,把这项技术应用到各个方面,才能让它更全面、成熟、稳定。”

漫游美国的后记

走遍mesos大家,感触良多

笔者问这次美国之行让王璞印象最深刻的是什么:“dockercon上接触到的理念给我启发最大。正在中国推广Mesos技术的我们希望做成生态,把后台应用系统如数据库、消息队列、大数据平台做成Mesos应用服务。”

Mesos技术产生也就短短3年历史。而与美国相比,中国Mesos技术的普及程度还远远不够,但两国在应用层面技术实力差别不大,纵观中国各大BAT也在试用,爱奇艺也采用Mesos。国内有实力进行新技术探索的不多。

这是属于云的时代,基于云的解决方案让企业的管理成本、运维成本迅速下降。

当今的中国企业业务变化越来越快,高速增长对企业后台构架灵活性提出更高要求。当传统IT满足不了企业增长量的需求,等待云服务的是一次技术的颠覆和革命。

作者简介

宋婷,清华大学演讲协会会长,清华大学网络电视台台长,原清华创+合伙人,数人科技市场部实习生