ModelEngine数据工程DataMate组件正式开源

抖音热门 2025年10月25日 17:59 0 admin

10月24日，以“AI构建世界智能引领未来”为主题的1024程序员日在长沙隆重举行。华为首席开源联络官、CNCF基金会董事任旭东受邀发表主题演讲。任旭东介绍，魔擎社区是华为为解决行业AI落地困难而打造的开源开放社区，已陆续开源AI全流程工具链ModelEngine应用编排、智能体开发平台Nexent等核心组件。此次华为郑重宣布ModelEngine数据工程DataMate组件正式开源，致力于在AI行业化落地过程中提升数据处理的效率。

华为首席开源联络官、CNCF基金会董事任旭东

ModelEngine作为一套覆盖从数据处理、知识生成，到模型部署与微调，以及应用开发的AI全流程工具链，能够极大缩短从数据到模型、数据到应用的落地周期，加速AI行业化落地。此前，华为与上海交通大学医学院附属瑞金医院进行深度合作，基于ModelEngine快速打造并开源了中国首个临床级多模态病理大模型RuiPath。

魔擎（ModelEngine）社区自25年3月正式开源以来，社区保持高活跃度，获得业界广泛关注，项目群Star总数已突破 9700，日均访问量超过1.6万次，软件日下载量达300+次，日活用户数稳定1000+人，形成良性增长势头。在本次1024程序员日上，ModelEngine的开源生态迈上新台阶。此次正式开源的数据工程DataMate组件具有如下核心能力：

1. 数据工程工具链

DataMate提供从数据预处理、标注、增强到知识生成的全流程工具支持，覆盖AI场景数据生命周期的各个环节。开发者可借助该平台完成数据清洗、格式转换、质量评估等操作，显著提升数据工程效率。

2. 高效数据处理与标注

工具链集成40+高性能数据处理算子，支持多模态数据（如图像、文本、病理数据等）的快速处理与标注（包含智能标注辅助与自动化标注能力），大幅降低人工标注成本，提升数据产出效率与质量。

3. 数据合成与知识生成

针对数据稀缺或样本不平衡的场景，DataMate提供数据合成与增强能力，支持生成高质量合成数据。同时，工具链内置知识抽取与生成模块，能够从非结构化数据中提取结构化知识，构建行业知识图谱，赋能模型理解与推理。

4. 行业数据飞轮

DataMate特别针对行业场景（如病理）提供专项数据处理能力，并支持构建“数据飞轮”，实现数据→模型→反馈的闭环迭代。

我们坚信，未来AI应用的核心竞争力将建立在对行业数据的深度处理与高效使用上，DataMate的开源不仅是技术的共享，更是为了构建一个繁荣的数据工程生态。唯有开放，才能激发无限创造；唯有共创，才能定义共赢未来。我们期待与每一位开发者携手，共同塑造一个繁荣、共享的数据工程开源新生态。