https://mlib.eppdev.cn/ 2026-04-14T21:58:31+0800 https://mlib.eppdev.cn/ https://mlib.eppdev.cn/lib/exe/fetch.php?media=favicon.ico text/html 2020-10-11T22:20:31+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?id=install:install&rev=1602426031&do=diff EPPDEV-MLIB系统安装说明 获取安装包 完整的安装文件目录包括: * main-register: 安装主用注册中心所需的相关文件 * eppdev-mlib-main-register.jar * eppdev-mlib-main-register.conf * application.properties * text/html 2020-01-11T22:33:50+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?id=start&rev=1578753230&do=diff EPPDEV-MLIB 平台概述 当前机器学习的应用已经日益广泛,但是在机器学习模型的应用过程中,也逐步暴露了一 些人员技能和衔接上的问题，为了更好的解决这些问题，特开发了本 EPPDEV-MLIB 分布式模 型部署平台，实现了常用机器学习模型的固化、加载和实时运算，以便于后续模型的落地。 text/html 2020-01-10T16:16:53+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?id=model:errors&rev=1578644213&do=diff 常见问题处理 DataFrameMapper中使用OneHotEncoder错误 示例代码 # ############################################################ # File: 02-preprocess-04-OneHotEncoder # Author: jinlong.hao # Date: 2019-12-04 # OneHotEncoder: 将数据进行离散化处理，形成哑变量 # sklearn-19及以前仅支持integer数据，20以后支持string数据了 # Desc: # 1. import语句 # 2. 构造数据 # 3. 使用DataFrameMapper进行转化 # 4. 使用DataFrameMapper结合OneHotEncoder进行转化 # ############################################################ # 1. import语句 from sklearn.preprocessing import… text/html 2020-01-10T16:09:56+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?id=model:preprocess:impute&rev=1578643796&do=diff 使用SimleImputer进行空值填充 缺失值填充主要采用SimpleImputer来完成，示例代码如下： # ############################################################# # File: 02-preprocess-08-SimpleImpute # Author: 郝金隆 # Date: 2019-12-04 # SimpleImpute: 基础的插值补充 # 主要内容： # 1. import语句 # 2. 加载示例数据 # 3. 基础用法 # 4. 与DataFrameMapper配合使用 # ############################################################# # 1. import语句 from sklearn.preprocessing import LabelBinarizer, OrdinalEncoder from sklearn.impute import SimpleImputer from sklearn… text/html 2020-01-10T16:08:21+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?id=model:preprocess:multivalue&rev=1578643701&do=diff 多值变量数据的处理 对于存在多个值的变量处理，一般有两个方案： * 使用MultiLabelBinarizer()，主要用于处理数据保存在不同列中的情况 * 使用CountVectorizer，主要用于处理数据保存在相同列中的情况 text/html 2020-01-10T16:05:45+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?id=model:preprocess:group&rev=1578643545&do=diff 使用ReplaceTransformer进行连续数据分段 离散数据分组,一般可以通过 ReplaceTransformer 来进行,示例如下: # ##################################################### # File: 02-preprocess-07-ReplaceTransformer # Author: jinlong.hao # Date: 2019-12-04 # ReplaceTransformer: 实现替换方式用于实现离散形变量的合并 # DESC： # 1. import # 2. 加载测试数据 # 3. 基础使用 # 4. 与DataFrame整合使用 # #################################################### # 1. import from sklearn.preprocessing import OneHotEncoder, LabelBinarizer, LabelEncoder from sklearn_pandas imp… text/html 2020-01-10T16:04:46+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?id=model:preprocess:cut&rev=1578643486&do=diff 使用CutTransformer进行分段 连续型特征的分段和离散化,一般使用 CutTransformer、LabelBinarizer来完成,示例代码如下: # ##################################################### # File: 02-preprocess-05-CutTransformer # Author: jinlong.hao # Date: 2019-12-04 # CutTransfomer: 连续变量分段函数，类似与df.cut()，但是可以整合到pipeline中 # 与KbinsDescretizer的区别在于，此处时手工进行分段 # DESC： # 1. import # 2. 加载测试数据 # 3. 基础使用 # 4. 与DataFrame整合使用 # #################################################### # 1. import from sklearn.preprocessing import OneHotEnco… text/html 2020-01-10T16:03:19+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?id=model:basic&rev=1578643399&do=diff 建模基础示例代码 进行数据建模一般需要包括以下及各环节： * 建模样本数据加载 * 数据预处理 * 特征选择 * 模型训练 * 模型验证 * 建模结果输出 示例代码如下： # ######################################### # file: 09-sample-02-basic-01 # author: jinlong.hao # date: 2019-12-06 # desc: sklearn2pmml基础验证代码 # content: # 0. import语句 # 1. 加载数据 # 2. 数据预处理 # 3. 特征选择（略） # 4. 模型训练 # 5. 结果验证(略) # 6. 训练结果输出 # ######################################## # 0. import import sklearn import sklearn.impute import sklearn.ensemble import sklearn.linear_… text/html 2020-01-08T14:28:15+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?id=manage:monitor&rev=1578464895&do=diff 运行状态监控 各个组件的运行状态 执行引擎的运行状态 在注册中心或者备用注册中心的后台管理页面中可以点击计算引擎链接进入执行引擎列表页面， 查看各个执行引擎的运行状态，如下图所示： text/html 2019-12-29T16:41:50+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?image=manage%3Apage_update_password.png&ns=manage&rev=1577608910&tab_details=history&mediado=diff&do=media <img src="https://mlib.eppdev.cn/lib/exe/fetch.php?w=500&h=190&t=1594526862&amp;tok=b6b60f&amp;media=manage:page_update_password.png" alt="manage:page_update_password.png" /> text/html 2019-12-29T16:28:38+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?image=manage%3Apage_view_model.png&ns=manage&rev=1577608118&tab_details=history&mediado=diff&do=media <img src="https://mlib.eppdev.cn/lib/exe/fetch.php?w=499&h=249&t=1594526862&amp;tok=e7537f&amp;media=manage:page_view_model.png" alt="manage:page_view_model.png" /> text/html 2019-12-29T16:28:38+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?image=manage%3Apage_user_list.png&ns=manage&rev=1577608118&tab_details=history&mediado=diff&do=media <img src="https://mlib.eppdev.cn/lib/exe/fetch.php?w=500&h=161&t=1594526862&amp;tok=37ceb6&amp;media=manage:page_user_list.png" alt="manage:page_user_list.png" /> text/html 2019-12-29T16:28:38+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?image=manage%3Apage_to_test.png&ns=manage&rev=1577608118&tab_details=history&mediado=diff&do=media <img src="https://mlib.eppdev.cn/lib/exe/fetch.php?w=500&h=234&t=1594526862&amp;tok=95e690&amp;media=manage:page_to_test.png" alt="manage:page_to_test.png" /> text/html 2019-12-29T16:28:38+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?image=manage%3Apage_provider_list.png&ns=manage&rev=1577608118&tab_details=history&mediado=diff&do=media <img src="https://mlib.eppdev.cn/lib/exe/fetch.php?w=499&h=147&t=1594526862&amp;tok=eb3f00&amp;media=manage:page_provider_list.png" alt="manage:page_provider_list.png" /> text/html 2019-12-29T16:28:38+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?image=manage%3Apage_new_model.png&ns=manage&rev=1577608118&tab_details=history&mediado=diff&do=media <img src="https://mlib.eppdev.cn/lib/exe/fetch.php?w=500&h=248&t=1594526862&amp;tok=f50f23&amp;media=manage:page_new_model.png" alt="manage:page_new_model.png" /> text/html 2019-12-29T16:28:37+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?image=manage%3Apage_monitor_list.png&ns=manage&rev=1577608117&tab_details=history&mediado=diff&do=media <img src="https://mlib.eppdev.cn/lib/exe/fetch.php?w=499&h=119&t=1594526862&amp;tok=3d08ac&amp;media=manage:page_monitor_list.png" alt="manage:page_monitor_list.png" /> text/html 2019-12-29T16:28:37+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?image=manage%3Apage_do_test.png&ns=manage&rev=1577608117&tab_details=history&mediado=diff&do=media <img src="https://mlib.eppdev.cn/lib/exe/fetch.php?w=500&h=255&t=1594526862&amp;tok=827ef4&amp;media=manage:page_do_test.png" alt="manage:page_do_test.png" /> text/html 2019-12-29T16:28:37+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?image=manage%3Apage_do_model_update.png&ns=manage&rev=1577608117&tab_details=history&mediado=diff&do=media <img src="https://mlib.eppdev.cn/lib/exe/fetch.php?w=500&h=249&t=1594526862&amp;tok=21e429&amp;media=manage:page_do_model_update.png" alt="manage:page_do_model_update.png" /> text/html 2019-12-29T16:28:37+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?image=manage%3Apage_model_list.png&ns=manage&rev=1577608117&tab_details=history&mediado=diff&do=media <img src="https://mlib.eppdev.cn/lib/exe/fetch.php?w=500&h=155&t=1594526862&amp;tok=698585&amp;media=manage:page_model_list.png" alt="manage:page_model_list.png" /> text/html 2019-12-29T16:28:37+0800 jinlong (jinlong@undisclosed.example.com) https://mlib.eppdev.cn/doku.php?image=manage%3Apage_consumer_list.png&ns=manage&rev=1577608117&tab_details=history&mediado=diff&do=media <img src="https://mlib.eppdev.cn/lib/exe/fetch.php?w=500&h=123&t=1594526862&amp;tok=27755b&amp;media=manage:page_consumer_list.png" alt="manage:page_consumer_list.png" />