一、自动驾驶、具身智能、大模型训练等 AI 场景
此类通常海量的数据会存放在更低成本的对象存储上,但在预处理、仿真、训练等环节,需要文件系统的接口,以及高性能的访问能力。可基于数据流动的能力,打通文件存储和对象存储的数据,降低自行拷贝数据的复杂度,提升数据流转效率。
二、大数据场景
在 HBASE、SPARK 等性能压力较高的大数据场景中,通常对吞吐和延迟有更高的要求。可基于数据流动的能力,打通文件存储和对象存储的数据,并基于文件系统提供的 HDFS 接口,提升大数据场景的数据读写性能。
三、支持数据双向流动
支持通过数据管理任务的方式,与对象存储的数据进行双向流动,满足数据持久化到对象存储中的需求。
四、支持子目录的数据流动映射
可对任意未配置生命周期/数据流动的文件系统子目录,配置数据流动的映射。
五、多种数据源支持
可支持文件系统、对象存储等多种存储的数据流动映射,形成统一的命名空间。
六、元数据自动更新
可配置元数据自动更新,确保命名空间立即可用,降低人工维护成本,简化数据处理流程。
七、节省存储空间,降低成本
数据流动的映射支持只加载元数据部分,数据部分通过 lazyload 的方式实现(即仅在数据访问的时候,才会从源端拉取数据)。因此,可大幅节省在海量数据情况下,高性能存储的容量成本。