,Python 和 SAS 是两个很常用的数据挖掘工具。Python 开源、免费、有丰富的三方库,一般在互联网公司广泛使用。而SAS需付费,且费用较高,一般互联网公司无法承担,更多的是在银行等传统金融机构中使用,不过这两年由于Python太火,原本使用SAS的也开始逐渐转向Python了。
拥抱开源,越来越多的爱好者造出优秀的Python轮子,比如当下比较流行的万金油模型Xgboost、LightGBM,在各种竞赛的top级方案中均有被使用。而SAS的脚步就比较慢了,对于一些比较新的东西都无法直接提供,所以对于那些使用SAS的朋友,就很难受了。
一直以来很多粉丝问过东哥这个问题:有没有一种可以将Python模型转成SAS的工具?
因为我本身是两个技能都具备的,实际工作中一般都是配合使用,也很少想过进行转换。但是,最近东哥逛技术论坛刚好发现了一个骚 *** 作,借助Python的三方库m2cgen和Python脚本即可完成Python模型到SAS的转换。
m2cgen是什么?
m2cgen是一个Python的第三方库,主要功能就是将Python训练过的模型转换为其它语言,比如 R 和 VBA。遗憾的是,目前m2cgen尚不支持SAS,但这并不影响我们最终转换为SAS。
我们仍然使用m2cgen,需要借助它间接转换成SAS。具体的方案就是先将Python模型转换为VBA代码,然后再将VBA代码更改为 SAS脚本,曲线救国。
如何使用m2cgen?
我直接用一个例子说明下如何 *** 作。
数据我们使用sklearn自带的iris dataset,链接如下:
The Iris Dataset — scikit-learn 111 documentation
下面,演示一下如何将Python的XGBoost模型转成SAS代码。
首先导入所需的库包和数据。
# 导入库
import pandas as pd
import numpy as np
import os
import re
from sklearn import datasets
from xgboost import XGBClassifier
from sklearnmodel_selection import train_test_split
from sklearnmetrics import accuracy_score
import m2cgen as m2c
# 导入数据
iris = datasetsload_iris()
X = irisdata
Y = iristarget
登录后复制
然后,我们划分数据集,直接扔进XGBoost里面,建立base模型。
# 划分数据为训练集和测试集
seed = 2020
test_size = 03
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=test_size, random_state=seed)
# 训练数据
model = XGBClassifier()
modelfit(X_train, y_train)
登录后复制
然后,再将XGBoost模型转换为VBA。使用m2cgen的export_to_visual_basic方法就可以直接转成VBA了。转换成其他语言脚本也是同理,非常简单。
code = m2cexport_to_visual_basic(model, function_name = 'pred')
登录后复制
核心的骚 *** 作来了!
m2cgen不支持SAS,但我们可以把VBA代码稍加改动,就能变成符合SAS标准的代码了。而这个改动也无需手动一个个改,写一段Python脚本即可实现VBA脚本转换为SAS脚本。
改动的地方不多,主要包括:删除在SAS环境中不能使用的代码,像上面结果中的Module xxx,Function yyy ,Dim var Z As Double,还有在语句结尾加上;,这些为的就是遵循SAS的语法规则。
下面就是转换的Python脚本,可以自动执行上面所说的转换 *** 作。
# 1、移除SAS中不能使用的代码
code = resub('Dim var As Double', '', code)
code = resub('End If', '', code)
# 下面 *** 作将修改成符合SAS的代码
# 2、修改起始
code = resub('Module Model\nFunction pred(ByRef inputVector() As Double) As Double()\n',
'DATA pred_result;\nSET dataset_name;', code)
# 3、修改结尾
code = resub('End Function\nEnd Module\n', 'RUN;', code)
# 4、在结尾加上分号';'
all_match_list = refindall('[0-9]+\n', code)
for idx in range(len(all_match_list)):
original_str = all_match_list[idx]
new_str = all_match_list[idx][:-1]+';\n'
code = codereplace(original_str, new_str)
all_match_list = refindall(')\n', code)
for idx in range(len(all_match_list)):
original_str = all_match_list[idx]
new_str = all_match_list[idx][:-1]+';\n'
code = codereplace(original_str, new_str)
# 用var来替代inputVector
dictionary = {'inputVector(0)':'sepal_length',
'inputVector(1)':'sepal_width',
'inputVector(2)':'petal_length',
'inputVector(3)':'petal_width'}
for key in dictionarykeys():
code = codereplace(key, dictionary[key])
# 修改预测标签
code = resub('MathExp', 'Exp', code)
code = resub('pred = \n', '', code)
temp_var_list = refindall(r"var[0-9]+(\d)", code)
for var_idx in range(len(temp_var_list)):
code = resub(resub('\(', '\(', resub('\)', '\)', temp_var_list[var_idx])), iristarget_names[var_idx]+'_prob', code)
登录后复制
对以上脚本分步解释说明一下。
1、开头、结尾、输出名称
前三个部分非常简单。使用正则表达式删除多余的行,然后将脚本的开头更改为DATA pred_result; \ nSETdataset_name;。
使用过SAS的同学就很熟悉了,pred_result是运行SAS脚本后的输出表名称,dataset_name是我们需要预测的输入表名称。
最后再将脚本的结尾更改为RUN;。
# 移除SAS中不能使用的代码
code = resub('Dim var As Double', '', code)
code = resub('End If', '', code)
# 下面 *** 作将修改成符合SAS的代码
# 修改起始
code = resub('Module Model\nFunction pred(ByRef inputVector() As Double) As Double()\n',
'DATA pred_result;\nSET dataset_name;', code)
# 修改结尾
code = resub('End Function\nEnd Module\n', 'RUN;', code)
登录后复制
2、语句末尾添加分号
为遵循SAS中的语法规则,还需将每个语句的结尾加上;。仍用正则表达式,然后for循环在每一行最后添加字符;即可。
# 在结尾加上分号';'
all_match_list = refindall('[0-9]+\n', code)
for idx in range(len(all_match_list)):
original_str = all_match_list[idx]
new_str = all_match_list[idx][:-1]+';\n'
code = codereplace(original_str, new_str)
all_match_list = refindall(')\n', code)
for idx in range(len(all_match_list)):
original_str = all_match_list[idx]
new_str = all_match_list[idx][:-1]+';\n'
code = codereplace(original_str, new_str)
登录后复制
3、映射变量名称
使用字典将InputVector与变量名称映射到输入数据集中,一次性更改所有InputVector。
# 用var来替代inputVector
dictionary = {'inputVector(0)':'sepal_length',
'inputVector(1)':'sepal_width',
'inputVector(2)':'petal_length',
'inputVector(3)':'petal_width'}
for key in dictionarykeys():
code = codereplace(key, dictionary[key])
登录后复制
4、映射变量名称
最后一步就是更改预测标签。
# 修改预测标签
code = resub('MathExp', 'Exp', code)
code = resub('pred = \n', '', code)
temp_var_list = refindall(r"var[0-9]+(\d)", code)
for var_idx in range(len(temp_var_list)):
code = resub(resub('\(', '\(', resub('\)', '\)', temp_var_list[var_idx])), iristarget_names[var_idx]+'_prob', code)
登录后复制
然后保存sas模型文件。
#保存输出
vb = open('vb1sas', 'w')
vbwrite(code)
vbclose()
登录后复制
最后,为了验证sas脚本是否正确,我们将sas模型的预测结果和Python的结果进行一下对比。
# python 预测
python_pred = pdDataFrame(modelpredict_proba(X_test))
python_predcolumns = ['setosa_prob','versicolor_prob','virginica_prob']
python_pred
# sas 预测
sas_pred = pdread_csv('pred_resultcsv')
sas_pred = sas_prediloc[:,-3:]
sas_pred
(abs(python_pred - sas_pred) > 000001)sum()
登录后复制
可以看到,两个预测的结果基本上一样,基本没问题,我们就可以在sas中跑xgboost模型了。
总结
上面只是个最简单的示例,没有对特征处理。对于复杂的建模过程,比如很多特征工程,那就要对Python脚本进一步调整了。
以上就是本次分享的所有内容,如果你觉得文章还不错,欢迎关注公众号:Python编程学习圈,每日干货分享,发送“J”还可领取大量学习资料,内容覆盖Python电子书、教程、数据库编程、Django,爬虫,云计算等等。或是前往编程学习网,了解更多编程技术知识。
python
机器学习
数据挖掘
视频教程-完整的Python和SAS数据分析-大数据
422阅读·0评论·0点赞
2020年5月28日
python 访问sas 逻辑库,SAS | 逻辑库和SAS数据集
460阅读·0评论·0点赞
2021年4月26日
python学习笔记---linux/windows调用sas程序
875阅读·0评论·0点赞
2019年10月24日
python可以代替sas_Python、 R 语言、SAS、SPSS 优缺点比较?(转)
604阅读·0评论·1点赞
2020年12月17日
python 访问sas 逻辑库_SAS编程基础 - 逻辑库和数据集
138阅读·0评论·0点赞
2020年12月9日
服务器部署sas_如何在阿里云SAS上部署WordPress网站
1429阅读·0评论·0点赞
2020年8月29日
python和sas配合使用_太骚了!Python模型完美切换SAS,还能这么玩。。
1963阅读·0评论·2点赞
2021年1月14日
python导入sas数据集_将变量从SAS传递到Python
344阅读·0评论·0点赞
2021年2月3日
python 访问sas 逻辑库_SAS岩论 | 在Jupyter Notebook中使用SAS
429阅读·0评论·0点赞
2020年12月9日
#sas建模-建模入门介绍
2257阅读·0评论·2点赞
2019年9月18日
#sas建模-建模过程介绍
2805阅读·1评论·0点赞
2019年9月18日
python调用sas_SAS日常使用的语句预定的python表达
370阅读·0评论·0点赞
2020年12月8日
python读取sas数据集_SASpy模块,利用Python *** 作SAS
1432阅读·0评论·0点赞
2020年11月26日
python可以代替sas,像SAS一样转置的python数据帧
156阅读·0评论·0点赞
2021年4月27日
sas和python的区别 知乎_银行业为什么喜欢用 sas 而不是 python?
1559阅读·0评论·0点赞
2020年12月9日
python和sas代码编写_如何从SAS到python编写if语句
329阅读·0评论·0点赞
2021年1月29日
saspython知乎_pyt
尤其在工作中需要处理大批量的数据或需要借助SAS进行多任务并行处理的时候,往往有对SAS程序设定自动运行的需求。
下面对其中的一种方法进行举例介绍。
步骤1:
建程序存放目录D:\temp
测试程序如下:
proc export data =sashelpclass
outfile= "D:\temp\classxls"
label dbms=excelcsreplace;
sheet="class";
run ;
步骤2 :
建立批处理程序D:\temp\ testbat
程序内容如下:
"C:\ProgramFiles\SASHome\SASFoundation\93\sasexe" -sysin d:\temp\testsas -logd:\temp\testlog
注:上述路径均需改为自己的本地路径。
步骤3 :
设定程序运行任务和执行周期
控制面板à管理工具à任务计划程序à创建基本任务à完成设定
(注:运行程序运行的是bat,而不是sas。这个是在设定的时候需要注意的)
以上就是关于python代码转化为sas代码全部的内容,包括:python代码转化为sas代码、SAS怎么定时运行、等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)