中兴王德政：大数据架构演进，融合是主旋律

日前，由工业和信息化部，湖南省人民政府联合主办的2021世界计算大会在长沙举行。

中兴通讯研究中心总工程师王德政发表了题为《生态融合趋势下的大数据架构演进:主旨演讲分享了中兴通讯对大数据生态发展的思考和探索。

中兴通讯研究中心总工程师王德政发表主旨演讲。

他说有必要认识到这一点，基于分布式云部署，覆盖全场景，生态融合的大数据架构需要面对基础设施集成，数据管理集成和计算框架集成的挑战。

在王德政看来，大数据与云基础设施的融合，是大数据逐渐放弃存储与计算一体化模式的过程在这个过程中，存储和计算分离导致的计算资源调度和性能下降问题是主要挑战针对不同的应用场景，采用从基础设施到应用的多种技术进行协同处理是解决这一问题的重要途径

在数据管理方面，从大数据的角度来看，数据仓库和数据湖都越来越重视数据的实时价值，两种模式的融合是必然趋势湖库集成将提供批量流集成的计算和存储，统一元数据服务将提供无缝的数据开发和管理体验同时，从数据库的角度来看，将OLTP和OLAP集成到HTAP是另一条技术路线

王德政认为，大数据系统延伸到生产系统，使得只能批量处理的数据有了流处理的基础目前，批处理流分离的架构不仅会造成数据孤岛和重复，还会造成无法统一管理批处理流任务等系统性问题批处理流集成计算框架可以改善批处理流分离造成的数据孤岛，统一任务管理，还具有数据处理实时性高，硬件资源需求均衡等优点