构建实时机器学习系统

前言 机器学习从业人员的艰难选择 作为机器学习从业人员，如果今天突然被公司或学校开除，你能养活自己吗？邻居老大妈买土鸡蛋不买神经网络模型，东门老大爷认识郭德纲不认识朴素贝叶斯，面容姣好的“翠花”只认房产证不认 Zookeeper。即使你身怀绝技，有着远大的抱负，机器学习应用难以变现也是事实。为了能维持生计，众多机器学习从业人员只能进入大公司、大组织。但限于流程和已有的体制，在这样的工作环境下， 他们很难完全发挥自己的潜能。 太多的好朋友，在脱离体制和大公司的时候豪情万丈，吃散伙饭时和战友们慷慨激昂，唱着真心英雄，梦想着自己也有回到北京东二环开始指点江山的一天。可是第二天带着宿醉起床面对着电脑屏幕 时，却不知道该怎么开始。没错，我们都有自己的想法，我们自己就是程序员，比那些在创业街上卖PPT的人“厉害”多了。可是在工业界，不管是初入职场的新人，还是久经沙场的老将，都需要在业余 时间不停地刷题，练习“LeetCode”[1]中的习题，以应对不时之需。这样的生存方式严重阻碍了知识经济的发展，更不要提为祖国健康工作五十年了。与大组织、巨无霸企业不同的是，自主创业往往需要 开发人员全栈的技术能力。大公司里面的技术能手在独立创业的时候也不免会遇到下面这些很基本的问题： ·服务器从哪里来？ ·以前单位、导师手里有一套自主开发的大数据平台，现在自己单干了没法用，怎么办？ ·以前用的机器学习软件包是某个“牛人”自己开发的“独门武功”，只在公司内部用，现在该用什么？ ·模型训练出来了，又怎么部署？ ·总算东拼西凑写好了一个流程，接下来如何实现数据可视化？ ·总算有客户开始用了，怎么样才能对结果实时监控？ 这个时候你才会想起马云的那句话：“离开公司了你什么都不是”。还是回大公司吧，至少比较安稳…… 总结起来，机器学习从业人员的难处有三点。 ·技能无法直接转化为经济效益：必须依靠大组织、公司，才能实现经济效益的转化。这必然要求从业人员服从诸多的条款和价值观，这对他们工作效率和积极性来说都是沉重的负担。 ·迭代速度受牵制：虽然开源社区拥有众多非常优秀的工具，但大公司、大组织往往都有众多历史遗留架构，这使得开发部署过程变得异常漫长。与此同时，从业人员也会觉得所学的知识将来无法为 自己所用，因此感到空虚。 ·出成果压力大：高投入就需要有高回报。机器学习从业人员薪资非常高，因此公司对从业人员进行新架构、新项目开发的耐心往往也非常有限。就算是从公司利益出发，进行架构、代码的革新，从 业人员往往也会担上不少风险。如果不能在短时间内实现架构，或者新训练的模型不能达到预期目标，从业人员的工作稳定性将会得不到保证。 老板、管理人员的困境 机器学习从业人员有自己的困难，公司的老......