架构、云计算
一、化繁为简,走在“极简”路上的微服务
2020 年,微服务领域出现了一个新词汇:“宏服务”。宏服务其实并不是一个全新的架构,而是一种在单体和微服务间取得平衡的理念。
目前,微服务的发展增加了系统的复杂性,微服务日趋细化、复用率达到顶峰,服务之间的关系变得愈加复杂,维护成本增加。在这种情况下,技术人员提出了“宏服务”,它是在微服务的划分粒度上找到一个平衡位置,使得系统更易于维护,实现多人协同维护,代码库重构更简单。
除了宏服务,在解决复杂性方面,Service Mesh 也做出了很多改变。以 Istio 为例,2020 年,Istio 信守承诺每个季度都发布一个版本(1.5, 1.6, 1.7, 1.8),开年版本 1.5 推翻了之前的设计,提出了“回归单体”的架构思路,1.6 版本的 Release note 更是在开篇就表明了要将极简主义进行到底。在 1.7 版本推出后,前 Red Hat 首席架构师、Istio in action 作者、solo.io Field CTO Christian Posta 认为 Istio 1.7 将成为生产可用的最稳定版本。年末发布的 1.8 版本中,Istio 正式启用了 Mixer 组件。
从 Istio 的版本更新中,我们不难看出社区一直为解决复杂性付出努力。但是一夜无法起高楼,Istio 1.5 版本开启的架构跃进使得至少在 1.5、1.6 两个版本难于生产落地,1.7 版本依然存在严格的平台版本要求(Kubernetes 的起步版本提升到 1.16 版本以上)、依赖 API 即将被迫迁移等问题,年末发布的 1.8 版本是否能真正成为企业生产可用的最稳定版本依旧有待生产检验。
2021 年,化繁为简仍然会是微服务的重点课题。
二、云原生不再以资源为导向,而是以应用为导向
2010 年,Paul Fremantle 在博客中首次提出了“云原生”的概念。经过十年发展,DevOps、容器、微服务等技术飞速发展,云原生已经被成功应用到企业核心业务中,并成为了企业业务创新的重要推动力。
如果从市场角度来看,云原生技术支持的业务场景很丰富,例如金融、制造、互联网等等。对于这些企业来说,在应用云原生技术时遇到的最大困难不是搭建云平台,而是迁移上云。传统应用不是为云计算而开发的,迁移工作量就会非常大,例如迁移工具的使用调试、迁移后的运维和维护等等。另外,如果只是使用虚拟化和重新部署的方式迁移上云,那么也无法发挥云计算的弹性、高并发等优势。
因此,现在云原生不再是以资源为导向,而是以应用为导向,虚拟机和服务器不再是云原生的意义所在,业务才是,很多技术专家也将此称为“云原生的 2.0 时代”。以“应用”为中心,规范企业应用的生命周期管理,为企业业务构建统一的云原生应用部署、运行、运维、治理标准化流程...... 这些才是云原生未来发展的重点和挑战。
企业也会越来越多地认识到:“云原生真正帮助的是业务部门。”企业的技术架构会逐渐转变成为业务导向的微服务结构,减少开发和运维的关注,真正集中于业务。
三、边缘计算将迎来规模化商业落地
2020 年 7 月,中国电信研究院 IP 与未来网络研究中心主任雷波表示:“目前随着业务和市场的成熟,边缘计算的商用化部署已经成为产业界各方关注的焦点,预测将在近期(2021-2023 年)开始大规模进行。”
从技术架构来看,边缘计算产业联盟(ECC)和工业互联网产业联盟(AII)联合发布了边缘计算参考架构 3.0。整个系统分为云、边缘和现场三层,边缘计算位于云和现场层之间,边缘层向下支持各种现场设备的接入,向上可以与云端对接。其中边缘层主要由边缘节点和边缘管理器组成,边缘节点是硬件实体,是承载边缘计算业务的核心,一般具有计算、网络和存储资源,而边缘管理器的核心是软件,主要功能是对边缘节点进行统一管理。
从产业结构来看,目前边缘计算还处于早期阶段,下游主要是由芯片、硬件、软件和连接构成,下游厂商将逐渐推动硬件设施和软件设施转向智能开放;中游主要是支持平台,涉及到的厂商包括云服务提供商、电信运营商,通常他们会选择特定领域作为边缘计算应用的突破口;上游是应用,将边缘计算赋能到智能终端和应用。从上游到中游再到下游,整个产业链条中的企业都在探索边缘计算的商业模式和客户价值。
从落地场景来看,目前边缘计算的落地主要集中在能源互联网、工业互联网、AR/VR/ 高清视频、云游戏、无人驾驶、智慧门店、医疗保健等。
前端
四、低代码会带来前端领域的新变革
2014 年,研究机构 Forrester Research 正式提出了“低代码 / 零代码”的概念。顾名思义,低代码就是开发者写很少的代码就可以快速开发应用,扩展更多功能。相比于传统的软件开发工具和技术,低代码的技术门槛更低,开发效率更高;相比于其他快速开发工具,低代码的扩展性更好。
通过利用低代码平台,非 IT 技术人员也可以构建软件;允许使用通用平台来开发多个应用程序,一定程度上解决了 IT 部门任务积压的问题;支持多平台部署,开发一次应用程序,就可以在不同环境中编译运行;易于维护,使软件的更新、调试、修复和更改都变得更简单。
目前很多企业都应用了低代码平台来提升开发效率,尤其是在前端领域。苏宁消费者平台研发中心前端技术总监禹立彬在 InfoQ 之前的采访中曾表示:“作为一家电商公司的前端团队,我们之前在遇到类似的业务需求时,通常做法是组件化 + 手动修改,今年我们尝试了低代码平台,明显减少了前端程序员的工作量。目前苏宁低代码 / 无代码平台运行情况良好,成本节约明显,以搭建促销会场为例,已经从从 4-5 人的团队降低到了 2 个人。”
Gartner 预计,2021 年市场对于应用开发的需求将五倍于 IT 公司的产能。为填补这一产量缺口,低代码 / 零代码技术是目前唯一可行的解决方案,必然会有越来越多企业引入这一技术。当前,我们看到了很多互联网大厂都已经在前端领域应用了低代码平台,明年我们期待低代码平台在更多企业、更多领域发挥作用。
大数据、人工智能
五、大数据加速与云融合,湖仓一体从理论到落地
随着 IT 基础设施加速往云上迁移,云原生正在成为新一代数据架构的主流标准。除了公有云厂商的标配服务外,跨云平台的第三方数据服务提供商(如 Snowflake 和 Databricks 等)也受到用户和资本市场的追捧。Snowflake 作为云原生的数据仓库提供商,在 2020 年 9 月上市后市值一度攀升至超一千亿美金,相比之下,传统数据仓库的头部提供商(如 Teradata)市值还不到 20 亿美金。
越来越多企业客户从 On-Premise 的数仓方案转向基于云(包含公有云和私有云)的解决方案,这种趋势在美国 2B 市场已经被广泛接受,在国内 2B 市场也方兴未艾。我们认为,新的一年大数据与云的融合还会继续加深,大数据领域将加速拥抱“融合”(或“一体化”)演进的新方向。
实际上,不管是今年最受关注的热议话题“湖仓一体”,还是已经得到业界广泛认可的“流批一体”,都是“融合”演进思路的阶段性产物。其本质是为了降低大数据分析的技术复杂度和成本,同时满足对性能和易用性的更高要求。
过去几年,数据仓库和数据湖方案在快速演进和弥补自身缺陷的同时,二者之间的边界也逐渐淡化。云原生的新一代数据架构不再遵循数据湖或数据仓库的单一经典架构,而是在一定程度上结合二者的优势重新构建。各大云厂商陆续提出自己的“湖仓一体”(Lakehouse)技术方案,如 AWS 的 Redshift Spectrum、微软 Azure Synapse Analytics 服务与 Azure Databricks 集成、阿里云 MaxCompute+DataWorks、华为云 FusionInsight 等。
还有一些公司正在通过开源表格式(如 Delta Lake、Apache Iceberg、Apache Hudi)构建自己的数据湖仓。在云厂商和开源技术方案的共同推动之下,2021 年我们将会看到更多“湖仓一体”的实际落地案例。
六、工业智能将迈过发展的初级阶段
随着深度学习、知识图谱等技术的发展,算法对于复杂问题的可解度有了显著提升,人工智能技术逐渐发展到可以解决实际问题并超越人类的程度。在这个基础上,工业智能逐渐发展起来,比较典型的代表有基于数据驱动的优化与决策、深度视觉质量检测;工业知识图谱解决全局性、行业性问题 ; 人机协作等智能工业机器人得到发展并广泛应用。
过去几年,工业智能经历了基于规则、基于统计和基于复杂计算的三大阶段。一方面,三大阶段并不是相互替代的关系,专家系统、传统机器学习、知识图谱、前沿机器学习四类技术共存,并不断交织融合;另一方面,技术演进脉络日益清晰,逐步形成了以知识图谱为代表的知识工程和以深度学习为代表的数据科学两大方向。然而,当前工业智能的应用以点状场景居多,普及范围有限,而且还存在许多问题尚未解决,仍处在发展的初级阶段。
2021 年,随着通用技术的突破,工业智能将迈入新的发展阶段。具体来说,基于 FPGA 的半定制化芯片有望成为工业智能的底座;高兼容性编译器满足工业适应性需求;实时性需求推动端侧推理框架的进一步优化;通用技术领域突破与定制化算法研究是关键。
七、可解释性 AI 离大规模应用落地更近一步
由于机器学习模型存在“黑盒”属性,所以模型内部的工作原理和模型决策过程难以被理解。但是,AI 的运算结果要解释给人类用户;同时,AI 运行的问题要人类工程师能够定位和解决;另外,AI 流程需要人类监管。
过去几年,我们见证了不透明决策系统的兴起,比如深度神经网络(DNNs)。深度学习模型(如 RNN、BERT)的成功源于高效的学习算法及其巨大的参数空间的结合,一个参数空间可能由数百层和数百万个参数组成,这使得 DNNs 被认为是复杂的黑盒模型。
随着算力越来越强,算法模型变得越来越复杂、体积也越来越大,虽然它的能力确实很强,能够帮我们做越来越多的事情,甚至在很多特定任务上表现超过人类,但是我们越来越无法理解这些模型,这是一个很棘手的问题。所谓的可解释性,就是希望寻求对模型工作机理的直接理解,打破人工智能的黑盒子。
可解释性机器学习的思想在于选择模型时,同时考虑其精度与可解释性,其不仅给出模型预测结果,还能给出得到该结果的理由。当下常用的方法是对于模型自身的可解释性和基于结果的可解释性。
对于模型自身的可解释性,其本身与模型相绑定,我们需要根据模型和应用场景一对一地进行迭代,才能够让它产生可解释性,通用性非常受限,修改难度较大。基于结果的可解释性,虽然可以看成黑盒,但目前算法本身还存在一些问题。比如 LIME 算法,其对采样有一定依赖,导致结果不稳定。但是,通过工业界和学术界一步一步地探索,相信 2021 年这些算法会变得越来越好,离大规模应用也会越来越近。
八、认知智能的突破值得期待
如今,随着相关理论和技术的不断革新,AI 在数据、算力和算法“三要素”的支撑下越来越多地走进我们的日常生活。但是,这一系列惊喜的背后却是大多数 AI 在语言理解、视觉场景理解、决策分析等方面的举步维艰:这些技术依然集中在感知层面,即用 AI 模拟人类的听觉、视觉等感知能力,却无法解决推理、规划、联想、创作等复杂的认知智能化任务。
当前的 AI 缺少信息进入“大脑”后的加工、理解和思考,做的只是相对简单的比对和识别,仅仅停留在“感知”阶段,而非“认知”,以感知智能技术为主的 AI 还与人类智能相差甚远。究其原因在于,AI 正面临着制约其向前发展的瓶颈问题:大规模常识知识库与基于认知的逻辑推理。而基于知识图谱、认知推理、逻辑表达的认知图谱,则被越来越多的国内外学者和产业领袖认为是“目前可以突破这一技术瓶颈的可行解决方案之一”。
如何实现智能?当下有两种途径:第一种是所谓的暴力美学,数据不够就增加数据,就像 GPT-3,相信未来还会有 GPT-4、GPT-5...... 这种思路也许能成功。但是也可以换一种视角,看看生物智能是如何实现的。生物智能的实现有很多路径,并不是单纯依赖神经元的数量或者暴力美学来解决问题。
如果我们把通用人工智能定义为三个条件:一是多任务,能做很多事情,不仅仅是单一的事情;二是具有鲁棒性;三是能够适应多种环境的存在。那么,未来,我们需要将神经科学、认知科学和计算科学进行交叉融合,加强人工智能和脑科学的双向互动,揭示生物智能系统的精细结构和工作机理,构建功能类脑、性能超脑的智能系统,以视觉等功能和典型模式动物作为参照物测试智能水平,为人工智能未来发展探索可行道路。
5G、区块链
九、5G 网络建设初成,推动智慧医疗、工业制造等产业发展
5G 的发展速度之快,远超以往几代通信技术。2020 年,全球运营商加速基站建设,而作为全球布网规模最大的 5G 市场,中国当前 5G 基站数量已超 70 万个。从与消费者最接近的 5G 终端方面来看,目前主流智能手机品牌均已进入消费市场,即使今年 5G iPhone 姗姗来迟,但销量不俗,亦有望助力 5G 市场的快速发展。
但 5G 仍缺乏“杀手级应用”。低延时、高带宽是 5G 的特点和优势,进入 2021 年,我们认为 5G 与“视频”、“云游戏”、“物联网”、“边缘计算”的结合是值得关注的重点。
疫情影响下,直播、短视频和音视频通话等视频场景已渐渐成为常态,如何让声音和画面更一致、降低卡顿、让延时更低?答案离不开 5G 这个关键技术。此外,超高清技术演进的基础条件之一是带宽,只有带宽越来越大,它才有实现的可能。
云游戏本质上是交互的在线视频流,被认为最接近落地的 5G 应用之一,今年 4 月,百度也宣布推出云手机产品,云游戏是当中的重磅应用场景。随着 5G 的商用,云计算与 5G 技术融合,有望让云游戏的延时变得更低,在游戏质量、操作流畅性等方面获得大幅提升。加上越来越多的企业入局,包括各大科技和互联网巨头,其产业生态也将快速得到完善。
想要实现海量连接的物联网世界,更是离不开 5G。但 Forrester 预计,2021 年“网络连接混乱”将是主流现象。物联网网络连接选项众多(比如卫星,蜂窝,Wi-Fi,蓝牙,Zigbee,Z-Wave 等等),5G 并不是唯一选择,企业和组织需要克服这样的“市场混乱”并整理,因此 5G 和 Wi-Fi 技术的实施相比 2020 年反而有所下降。
在当下的 AI 时代,计算产业也离不开智能。有了 5G 技术加持,当前大热的边缘计算将可以显著改善带宽和延时,实现更加智能的计算。毕马威和 IDC 预估,得益于 5G 和边缘计算,除了互联医疗领域,工业制造、智能运输、环境监测、(云)游戏等行业领域也有望在未来两三年内获得显著增长。
十、区块链技术在“新基建”的推动下加速落地
区块链是近年来比较重要的一项技术,目前该技术处于 Gartner 炒作周期曲线的“泡沫破裂低谷期(Trough of Disillusionment)”。加密货币是区块链技术的主要应用之一。近年来,针对加密货币骗局,政府加大了打击力度。公安机关于今年立案侦办了总价值超过 148 亿人民币的“Plus Token 平台”网络传销案。
另一方面,Facebook 计划发布的 Diem(曾用名:Libra)数字货币在 2020 年仍然受到巨大的监管压力,但中国央行的数字人民币却在政府推动下在各地进行了试点。深圳市在 10 月份首次进行了数字货币的试点。随后苏州政府部门在 12 月份通过抽签形式向当地居民发放了人民币 2,000 万元的数字红包。
10 万名中签者每人均获 200 元的新数字人民币,可用于网购或线下消费。政府还与美团和滴滴出行分别测试了使用数字人民币进行送餐和网约车等服务。法定数字货币 DC/EP 在确权环节使用了区块链技术,所以从长期来看,数据纳入生产要素要求,推进数据确权、定价、交易,这意味着数据上链会逐渐成为趋势。
另外,隐私安全问题一直是区块链应用落地的挑战之一,各厂商也尝试了将各种数据加密传输协议、数据加密存储协议、远程认证等技术整合成整体的解决方案,提供各场景所需的隐私保护策略,并且能降低开发门槛。隐私保护技术明年将得到多场景下的突破和验证,能进一步推动区块链的大规模化应用。
2020 年区块链已经逐步渗透到中国各个垂直行业,初步形成示范效应,集中体现在政务、民生、金融、供应链等领域,“to G”(包括国企和事业单位)在国内成了区块链行业盈利的主流模式。同时,国家发改委明确地将“区块链”纳入新型基础设施中的信息基础设施。在 COVID-19 的影响下,全球企业都需要加速数字化转型,所以未来区块链将与人工智能、5G 等新基建相关技术一起服务于企业的数字化转型。在 2021 年,我们也将看到更多的“区块链 +”落地案例。