功能简介：服务器R(remote)只负责网站的运行和访问，每天获得一批新的原始数据，服务器L(local)负责后台运算，自动定时从服务器R的mysql里读取数据，在L上经过matlab编写的算法程序运算后再远程将结果写回R的数据库以实现网站的更新。全程无人值守。（L负责后台运算，安装matlabR负责网络访问,安装mysql）
不同于网络上查到的实现方法，本程序全部在m文件里编写，不用php 或c++做接口，宗旨就是用简单的方法实现简单的想法。（以下假定suanfa.m子程序已经存在）
1.编写import_data.m子程序，实现从mysql读取数据到matlab中.
1）下载mysql的jdbc的java驱动，安装到*:\Program Files\MATLAB71\java\jar\toolbox路径下；
2）此“路径\文件名”添到*:\Program Files\MATLAB71\toolbox\local下的classpath.txt文件中；
3）设置mysql下的数据库名称为带有“mysql ”后缀的，比如：abcmysql
4）服务器R的mysql下，输入“grant all on *.* to username@"L的IP" Identified by
"password"，允许L远程访问；
5）复制如下代码到import_data文件中
function MM=import_data()
timeoutA=logintimeout(5)
% Set maximum time allowed for establishing a connection.
connA = database('mysql', 'username', 'password','com.mysql.jdbc.Driver','jdbc:mysql:
//R的IP:3306/abc'）
ping(connA)% Check the database status.
cursorA=exec(connA,'SELECT ALL CONLUMA,CONLUMB,CONLUMC FROM tablename)
setdbprefs('DataReturnFormat','numeric')%set numeric format
cursorA=fetch(cursorA) % Fetch all rows of data.
MM=cursorA.Data % Display the data，save the data in MM
close(cursorA) % Close the cursor and the connection.
close(connA)
其中username，password,L\R的IP，数据库名称abc,tablename,sql语句都是要依实际修改的。
2.编写export_data.m子程序，实现从matlab写回数据到mysql中：
原理类似， (tablename2的表要事先建好u）复制以下程序：
timeoutA=logintimeout(5)
% Set maximum time allowed for establishing a connection.
connA = database('mysql', 'username', 'password','com.mysql.jdbc.Driver','jdbc:mysql:
//R的IP:3306/abc'）
ping(connA)% Check the database status.
%delete the records before updating
cursorA=exec(connA,'delete tablename FROM tablename')
Colnames = %updating
fastinsert(connA, 'tablename2', Colnames,newdata)
close(cursorA)
close(connA)；
其中username，password,R的IP，数据库名称abc,tablename,sql语句都是要以实际情况修改的,
newdata就是suanfa.m程序得到结果组成的矩阵，这些结果将写到数据库中tablename2的表中。
3.编写主程序以调用这些子程序：
4.编译m程序为exe程序：
(注意主程序头部的也要加“function”呦，否则作为脚本文件不能编译）
1)在matlab环境中配置编译器，输入mbuild -setup，依提示 *** 作；
2)输入mcc -m main.m suanfa.m import_data.m export_data.m生成与主程序同名的exe文件；
3)设置windows任务计划,添加此exe文件便可以自动定时读取、计算、更新网站数据库了。
ps:matlab7.0没有找到deploytool工具，没法连接数据库，要使用更高版本的matlab。
Database Toolbox 2
和关系数据库进行数据交换
Database 工具箱可以使你使用MATLAB 的数据分析
和可视化工具对存储在数据库中的数据进行分析。在
MATLAB 工作环境中， 您可以使用结构化查询语言进
行：
■ 对数据库中的数据进行读写
■ 使用约束条件对数据库进行 *** 作
您可以在MATLAB 中和绝大多数的数据库进行交
互， 包括Oracle、Sybase、Microsoft SQL Server、
MySQL、PostgreSQL 以及Microsoft Access 。该工具箱
还允许您在单个的MATLAB 任务中同时存取多个数据
库并且支持事务特性。它包含了Visual Query Builder
（ 可视化查询工具）， 它可以使您在不熟悉SQL 的情
况下和数据库进行交互。
Visual Query Builder
可以快速对您的数据
进行存取和图表显示
关键特性
■ 支持ODBC/JDBC 连接的数据库接口
包括Oracle、Sybase、Microsoft SQL
Server、MySQL、PostgreSQL 以及
Microsoft Access
■ 从MATLAB 中直接执行查询语句
■ 对于大数据量查询， 将增量获取数据
■ 在所有的数据导入和导出的过程中，
保留数据类型
■ 单个的MATLAB 任务中可以同时
存取多个数据库
■ 从一个数据库中导入数据，完成计
算后， 将结果输出到另外一个数据库
■ 在单个事务中获取大数据集， 或者分
割数据， 通过多个事务来完成
■ 通过在一个MATLAB 会话中保持数
据库连接来减少需要进行输入和输出
数据所需要的语句， 除非数据库连接
被显式关闭
■ 它可以使您在不熟悉SQL 的情况下
和数据库进行交互
在MATLAB 中对Microsoft Access 数据库进行查询
数据库工具箱函数列表
数据库访问函数
clearwarnings 清除数据库连接警告
close 关闭数据库连接
commit 数据库改变参数
database 连接数据库
exec 执行SQL语句和打开油标
get 得到数据库属性
insert 导出MATLAB单元数组数据到数据库表
isconnection 判断数据库连接是否有效
isreadonly 判断数据库连接是否只读
ping 得到数据库连接信息
rollback 撤销数据库变化
set 设置数据库连接属性
sql2native 转换JDBC SQL 语法为系统本身的SQL语法
update 用MATLAB单元数组数据代替数据库表的数据
数据库游标访问函数
attr 获得的数据集的列属性
close 关闭游标
cols 获得的数据集的列数值
columnnames 获得的数据集的列名称
fetch 导入数据到MATLAB单元数组
get 得到游标对象属性
querytimeout 数据库SQL查询成功的时间
rows 获取数据集的行数
set 设置游标获取的行限制
width 获取数据集的列宽
数据库元数据函数
bestrowid 得到数据库表唯一行标识
columnprivileges 得到数据库列优先权
columns 得到数据库表列名称
crossreference 得到主健和外健信息
dmd 创建数据库元数据对象
exportedkeys 得到导出外部健信息
get 得到数据库元数据属性
importedkeys 得到导入外健信息
indexinfo 得到数据库表的索引和统计
primarykeys 从数据库表或结构得到主健信息
procedurecolumns 得到目录存储程序参数和结果列
procedures 得到目录存储程序
supports 判断是否支持数据库元数据
tableprivileges 得到数据库表优先权
tables 得到数据库表名称
versioncolumns 得到自动更新表列
--------------------------------------------------------------------------------
Xinsoft,2004-08-11 20:28:15
数据库工具箱让用户使用MATLAB强大数据分析和可视化工具功能处理存储在数据库中的数据的复杂分析。在MATLAB环境下工作，可以用结构化查询语言SQL）命令：
读，写数据库的数据
简单和高级条件的数据查询
连接MATLAB和数据库包括Oracle,Sybase,Microsoft SQL Server和Informix。
可以用单一MATLAB同时访问多个数据库，进行大数据量的事务处理。不懂SQL的用户可以用Visual Query Builder处理数据。
重点
鲁棒接口能力。 用ODBC/JDBC连接数据库，包括Oracle,Sybase SQL Server,Sybase SQL Anywhere,Microsoft SQL Server, Microsoft Access,
Informix Ingres.
SQL语法。 在MATLAB环境直接执行SQL查询
动态导入数据。 调节SQL查询，把数据导入MATLAB。数据库工具箱满足小的和大的查询。
数据类型保存。 在数据导入和导出行为MATLAB保存数据类型
同时访问多个数据库。 从数据库导入数据，对该数据执行计算，然后导入到另一个数据库。
处理大数据集的能力。
连续状态的数据库连接：一旦和某个数据库的连接建立后，数据库一直是打开的，除非在MATLAB中执行关闭语句。这提高了数据库的读取速度，减少了不必要的命令来调入，输出数据 Visual Query Builder. 该图形用户接口列数据源和所有表和字段，不懂SQL的用户可以访问和查询数据库函数列表
数据库访问函数
clearwarnings 清除数据库连接警告
close 关闭数据库连接
commit 数据库改变参数
database 连接数据库
exec 执行SQL语句和打开油标
get 得到数据库属性
insert 导出MATLAB单元数组数据到数据库表
isconnection 判断数据库连接是否有效
isreadonly 判断数据库连接是否只读
ping 得到数据库连接信息
rollback 撤销数据库变化
set 设置数据库连接属性
sql2native 转换JDBC SQL 语法为系统本身的SQL语法
update 用MATLAB单元数组数据代替数据库表的数据
数据库游标访问函数
attr 获得的数据集的列属性
close 关闭游标
cols 获得的数据集的列数值
columnnames 获得的数据集的列名称
fetch 导入数据到MATLAB单元数组
get 得到游标对象属性
querytimeout 数据库SQL查询成功的时间
rows 获取数据集的行数
set 设置游标获取的行限制
width 获取数据集的列宽
数据库元数据函数
bestrowid 得到数据库表唯一行标识
columnprivileges 得到数据库列优先权
columns 得到数据库表列名称
crossreference 得到主健和外健信息
dmd 创建数据库元数据对象
exportedkeys 得到导出外部健信息
get 得到数据库元数据属性
importedkeys 得到导入外健信息
indexinfo 得到数据库表的索引和统计
primarykeys 从数据库表或结构得到主健信息
procedurecolumns 得到目录存储程序参数和结果列
procedures 得到目录存储程序
supports 判断是否支持数据库元数据
tableprivileges 得到数据库表优先权
tables 得到数据库表名称
versioncolumns 得到自动更新表列
MATLABER曰：
这是个很经典的介绍,
因为它涉及到MATLAB在金融学中的应用,甚至利用它可以作出很好的财务软件.
zhimingchen曰：Visual Query Builder 不支持汉字,所以我觉得使用 Visual Query Builder 不是最好的方法使用DAO,特别ADO是一种很好方法,可以做到与数据库无关请看我的一个访问数据库的实例:
function Table=GetTable(ConnectionStr,SqlStr)
%ConnectionStr为连接串,比如可以设置ConnectionStr='Data Source=HistryData2.0
Pr
ovider=MSDASQLUser ID=AdminPassword='
%SqlStr为SQL语句,
% 利用ADO调用数据源
try
MyConnection=actxserver('ADODB.Connection')
MyConnection.ConnectionString=ConnectionStr
invoke(MyConnection,'Open')
MyRecordset=invoke(MyConnection,'Execute',SqlStr)
%域信息
Fields=MyRecordset.Fields
%域个数
FieldNumber=Fields.Count
FieldNames=cell(1,FieldNumber)
%获取数据
% invoke(MyRecordset,'MoveFirst')
Data=invoke(MyRecordset,'GetRows')
MyRecordset.Source
%记录行数
RecordCount=size(Data,2)
for i=1:size(FieldNames,2)
TempField=get(Fields,'Item',i-1)
FieldNames=TempField.Name
end
%给Table赋植
Table.RecordCount=RecordCount
Table.FieldNames=FieldNames
Table.Data=Data
invoke(MyRecordset,'Close')
invoke(MyConnection,'Close')
catch
msgbox(lasterr,'Tint')
Table.Data={}
end
--------------------------------------------------------------------------------
Xinsoft,2004-08-11 20:28:37
一、通过MATLAB 提供的数据库引擎， 以下是MATLAB ，DATABASE TOOLBOX中的例子，
通过ODBC/JDBC 接口访问具体的数据库
function dbimportdemo()
%DBIMPORTDEMO Imports data into Matlab from a database.
% Version 1.0 21-Oct-1997
% Author(s): E.F. McGoldrick, 12/5/1997
% Copyright (c) 1984-2001 The MathWorks, Inc.
% $Revision: 1.7 $ $Date: 2001/01/12 16:22:06 $
% Set maximum time allowed for establishing a connection.
timeoutA=logintimeout(5)
% Connect to a database.
%打开数据源 SampleDB
connA=database('SampleDB','','')
% Check the database status.
ping(connA)
% Open cursor and execute SQL statement.
%执行SQL查询语句
cursorA=exec(connA,'select country from customers')
% Fetch the first 10 rows of data.
%获取前十行数据
cursorA=fetch(cursorA,10)
% Display the data.
%显示
AA=cursorA.Data
% Close the cursor and the connection.
%关闭
close(cursorA)
close(connA)
二、通过DAO访问数据库（DAO技术适合于访问ACCESS 2000以下版本的数据库，优点是功
能
齐全，具体可以参考MSDN关于DAO的帮助），以下是我自己摸索出来的，在MATLAB帮助文
件
中有关于如何调用EXCEL组件的方法。
Handle=actxserver('DAO.DBEngine.36')
MyWSS=get(Handle,'Workspaces')
Count=get(MyWSS,'Count')
MyWS=get(MyWSS,'Item',0)
%打开数据库
MyDB=invoke(MyWS,'OpenDatabase','D:\My Documents\test.mdb')
%打开数据库的表，得到一个指向记录集的指针
MyRS=invoke(MyDB,'OpenRecordset','用户')
%获取“用户”表的前十行数据
MyRows=invoke(MyRS,'GetRows','10')
%关闭
invoke(MyRS,'Close')
invoke(MyDB,'Close')
invoke(MyWS,'Close')
三、ADO技术（微软建议ACCESS 2000及以上版本的数据库应尽量通过ADO访问，优点是可
以
通过较少的对象访问数据库，ADO与今后微软的数据库技术发展方向一致，目前支持的功
能
稍微少了一些）具体访问的可以参考MSDN的帮助文件和ADO 类型库的方法原型。
四、通过dde进行动态数据交换，可以查看help
这是我帮你找来的。不知道对不对。找了很久的！
很多产品想要加入推荐系统模块，最简单的就是做内容相似推荐，虽然技术简单但是效果却很好，对于增加用户粘性、提升用户留存有较多的效果，甚至很多产品后来加入了很多推荐模块之后，还是发现导流效果最好的依然是内容的相似推荐。
比如看完了一片《Python怎样读取MySQL》之后，在相似推荐中看到了一片题目为《Python *** 作MySQL的效果优化》的文章，很自然的就像多深入了解一下，于是就点进去看一看，那么对于整个网站来说，就会降低跳出率，增加用户的留存，是一个很好的用户体验。
实现一个内容相似推荐的方案比较简单，大体上包含以下步骤：
1、获取内容数据，比如标题、关键字、分类、甚至全文本；
一般文档、数据等内容都存储于mysql，可以使用python/java等语言直接读取mysql导出到文件.txt格式，或者直接用shell的mysql -e sql >data.txt的方式导出。
一般情况下，全文本内容太散，不会作为候选字段，但是有些视频之类的实体，因为标题和简介文字太少，如果有详情全文本的话，也可以加入候选数据字段。
2、对内容数据做中文分词；
如果是python语言，可以使用“结巴分词”，地址为： https://github.com/fxsjy/jieba
或者可以直接使用百度云的中文分词，百度的NLP自然语言处理技术还是很厉害的。
3、提取内容数据的关键词；
当分词之后，分词结果中包含很多“的”、“也”等无意义的词语，这些词语不能称之为关键词，一般会通过TF/IDF的方法计算每个词语的权重，将一个文档的所有词语的TF/IDF权重倒序排列，取TOPN个作为关键词；
如果使用的是jieba分词，那么直接就自带了提取关键词的支持；当然也可以自己计算，TF就是计算一篇文章中每个词语出现的次数、IDF就是这个词语在所有文章中出现的次数，TF除以IDF就是权重值；
4、将关键词映射成数字向量；
我们最终的目标是计算文档之间的相似度，要计算相似度那就需要把内容映射成向量，第一步就是先把每个词语映射成向量，映射的方式有几种：
使用one hot方法映射成向量
自己训练word2vec密度向量；
使用业界的训练好的word2vec向量
一般情况下，自己的数据集比较小，效果会比业界的word2vec效果差一些，比如这里推荐腾讯开源的200维度全网word2vec向量，地址在： https://ai.tencent.com/ailab/nlp/embedding.html
5、计算文档粒度的数字向量；
得到每个词语的向量之后，通过加权平均的方式可以计算整个文档的向量；
权重可以使用每个词语的频率次数归一化，或者直接平均即可；
6、计算文档之间的相似度；
使用cosin算法就能够计算文档向量之间的相似度；
cosin算法很简单，java、python自己实现就可以，也可用https://scikit-learn.org或者http://surpriselib.com/中的相似度计算模块直接调用实现。
计算完之后，对于每个文档，将它跟每个文档的相似度做倒序排列，比如TOP 30个作为推荐的结果集合。
7、将文档的相似度关系存入mysql/redis等缓存；
第6步骤会得到一个这样的结果：(文档ID、相似文档ID列表)，将这样的数据直接存入mysql或者redis，key就是文档ID，value是相似文档ID列表即可。
8、当页面展示一个内容的时候，提取相似推荐进行展示；
当用户访问一个页面的时候，后端服务python/java从缓存redis或者mysql中根据展示的页面的文档ID，提取相似ID列表；
因为前几步骤是提前计算好的列表，这里也可能做一些过滤已下线的事情，然后根据ID提取对应的标题、简介等信息，组装成相似推荐列表返回给前端即可；
总结
以上就是离线计算相似推荐的步骤，其实还可以用在线的方式进行，把这个问题按照搜索的架构实现即可，新来一个文档就分词、计算关键词列表存储，然后每次访问的时候根据关键词列表查询相同关键词列表的文档也可以实现。
当相似内容推荐上线后，就能够不断积累一些用户点击、查看文档的行为数据，基于行为数据就能训练协同过滤的模型，实现内容不相似但是行为相似的协同过滤推荐。
mysql的sql语句是这样写的select * from user limit 0,10
这个limit就表示是从0行数据开始，查询10条记录
那么你下一次就是limit 10,10了
所以你需要传一个参数进来取代limit的第一个数值
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）