这里会显示出您选择的修订版和当前版本之间的差别。
两侧同时换到之前的修订记录 前一修订版 后一修订版 | 前一修订版 | ||
background [2019/12/09 13:11] jinlong [方案优点] |
background [2020/07/12 12:07] (当前版本) |
||
---|---|---|---|
行 1: | 行 1: | ||
- | ====== EPPDEV-MLIB分布式模型部署平台背景说明 ====== | + | ====== EPPDEV-MLIB平台背景说明 ====== |
===== 问题的提出 ===== | ===== 问题的提出 ===== | ||
行 9: | 行 9: | ||
在机器学习项目实施过程中,软件工程和模型工程的衔接上,存在巨大的技术和思维鸿沟: | 在机器学习项目实施过程中,软件工程和模型工程的衔接上,存在巨大的技术和思维鸿沟: | ||
- | * 软件工程师熟悉的主要时软件工程相关技术和架构,如 JavaEE、MySQL、React 等软件开发相关技术,对模型工程师的机器学习模型则知之甚少 | + | * 软件工程师熟悉的主要为软件工程相关技术和架构,对模型工程师的机器学习模型则知之甚少 |
- | * 模型工程师熟悉的主要为相关机器学习模型算法,如逻辑回归、决策树、SVM 等,但是对软件工程相关技术则不甚了解 | + | * 模型工程师熟悉的主要为相关机器学习模型算法,但是对软件工程相关技术则不甚了解 |
正式因为上述的技术和思维鸿沟,导致了模型工程师建模完成后,系统化落地比较困难。 | 正式因为上述的技术和思维鸿沟,导致了模型工程师建模完成后,系统化落地比较困难。 | ||
行 40: | 行 40: | ||
===== EPPDEV-MLIB解决方案 ===== | ===== EPPDEV-MLIB解决方案 ===== | ||
- | ==== 整体方案 ==== | ||
为了更好的划分号模型工程师和软件工程师的分工界面,结合实际业务需要,EPPDEV-MLIB 解决方案应运而生。通过 EPPDEV-MLIB 方案可以很好的区分模型工程师和软件工程师的分工界面,模型工程师负责完成 pmml 文件的构建,软件工程师通过调用 EPPDEV-MLIB 调用网关提供的标准化接口,即可完成模型的计算,具体逻辑如下图所示: | 为了更好的划分号模型工程师和软件工程师的分工界面,结合实际业务需要,EPPDEV-MLIB 解决方案应运而生。通过 EPPDEV-MLIB 方案可以很好的区分模型工程师和软件工程师的分工界面,模型工程师负责完成 pmml 文件的构建,软件工程师通过调用 EPPDEV-MLIB 调用网关提供的标准化接口,即可完成模型的计算,具体逻辑如下图所示: | ||
行 47: | 行 46: | ||
- | ==== 方案优点 ==== | + | ===== 方案优缺点 ===== |
- | 平台优势在于: | + | ==== 优势1:多种建模工具与算法的支持 ==== |
- | - 平台模型计算基于 PMML 标准来完成,支持多种常用的建模工具(如 sklearn, spark mlib, R, tensorflow 等),支持多种机器学习模型算法 | + | {{ :model_support.jpg?600 |}} |
- | - 平台提供了常用的模型调用工具 SDK,支持批量任务调用、hive sql 调用、实时接口调用等多种模型调用方式,可以满足不同应用场景下的系统对接 | + | |
- | - 全分布式高可用架构,任意组件的失效均不影响模型运算的正常运转 | + | 平台模型计算基于 PMML 标准来完成,支持多种常用的建模工具(如 sklearn, spark mlib, R, tensorflow 等),支持多种机器学习模型算法 |
+ | |||
+ | ==== 优势2:方便与各应用系统集成 ==== | ||
+ | |||
+ | {{ :model_call_method.jpg?600 |}} | ||
+ | |||
+ | 平台提供了常用的模型调用工具 SDK,支持批量任务调用、hive sql 调用、实时接口调用等多种模型调用方式,可以满足不同应用场景下的系统对接 | ||
+ | |||
+ | ==== 优势3:全分布式高可用架构 ==== | ||
{{ :eppdev_mlib_logic_arch.jpg?600 |分布式高可用架构}} | {{ :eppdev_mlib_logic_arch.jpg?600 |分布式高可用架构}} | ||
+ | |||
+ | 全分布式高可用架构,任意组件的失效均不影响模型运算的正常运转 | ||
+ | |||
==== 平台不足 ==== | ==== 平台不足 ==== | ||