Dotnet core基于ML.net的销售数据预测实践

ML.net已经进到了1.5版本。作为Microsoft官方的机器学习模型，你不打算用用？

ML.net可以让我们很容易地在各种应用场景中将机器学习加入到应用程序中。这是这个框架很重要的一点。

通过ML.net，我们可以使用手中的可用数据，进行预测、分析、检测，而不需要进行过于复杂的编程。

ML.net的核心，同样是机器学习模型。它采用同样的步骤，通过指定算法来训练模型，将输入数据转换为所需的预测数据。

更重要的是，ML.net基于.NET Core，这让它可以非常简单地跨平台，在windows、linux、MacOS上运行，并成为我们服务端的一部分内容。

回到今天的主题。

我们用实际的例子，完成一个通过历史销售数据进行单变量时序分析（单谱分析），以预测未来销量的需求。

    为了防止不提供原网址的转载，特在这里加上原文链接：https://www.cnblogs.com/tiger-wang/p/13150021.html

这个Demo的开发环境是：Mac + VS Code + Dotnet Core 3.1.2。

$ dotnet --info
.NET Core SDK (reflecting any global.Json):
 Version:   3.1.201
 Commit:    b1768b4ae7

Runtime Environment:
 OS name:     Mac OS X
 OS Version:  10.15
 OS Platform: Darwin
 RID:         osx.10.15-x64
 Base Path:   /usr/local/share/dotnet/sdk/3.1.201/

Host (useful for support):
  Version: 3.1.3
  Commit:  4a9f85e9f8

.NET Core SDKs installed:
  3.1.201 [/usr/local/share/dotnet/sdk]

.NET Core runtimes installed:
  Microsoft.AspNetCore.App 3.1.3 [/usr/local/share/dotnet/shared/Microsoft.AspNetCore.App]
  Microsoft.NETCore.App 3.1.3 [/usr/local/share/dotnet/shared/Microsoft.NETCore.App]

首先，在这个环境下建立工程：

% dotnet new sln -o demo
The template "Solution file" was created successfully.

% cd demo
% dotnet new console -o demo
The template "Console Application" was created successfully.

Processing post-creation actions...
Running 'dotnet restore' on demo/demo.csproj...
  Determining projects to restore...
  Restored demo/demo.csproj (in 143 ms).

Restore succeeded.

% dotnet sln add demo/demo.csproj

基础工程搭建完成。

为了使用ML.net，我们需要引入microsoft.ml库：

cd demo
% dotnet add package microsoft.ml

除此之外，本文是基于时序的预测，还需要引入时序库microsoft.ml.TimeSerIEs：

% dotnet add package microsoft.ml.TimeSerIEs

我们今天用到的算法是单谱分析（SSA）。SSA会将时序分解为一组主要成分， 并将这些成分解释为信号，对应于趋势、噪音、季节性及许多其他的因素，然后重新构建这些成分，用来预测未来某个时间的值。

为了这个DEMO，我准备了一个包含全年365天实际销售金额的数据。

其中这个数据又分为了两部分，第一部分是前11个月的数据，用来做训练，第二部分是12月一个月的数据，用来评估模型。

两部分数据的链接如下：训练数据，评估数据

两个数据文件均为CSV文件，数据结构完全相同，下面是一段内容范例：

2018-12-21,17959.0
2018-12-22,19537.03
2018-12-23,20068-12-24,20013-12-25,21005-12-26,16876-12-27,15150-12-28,15669-12-29,25048-12-30,25236.0

public class Modelinput
{
    [LoadColumn(0)]
    public DateTime action_time { get; set; }
    [LoadColumn(1)]
    public float count { get; set; }
}

ModelOutput
{
    float[] forecasted_count { get; set; }
    float[] lower_count { get; float[] upper_count { get; set; }
}

MLContext mlContext = new MLContext();

static Readonly string _data1Path = Path.Combine(Environment.CurrentDirectory, "data1.csv");
string _data2Path = Path.Combine(Environment.CurrentDirectory,1); word-wrap: inherit !important; word-break: inherit !important">"data2.csv");

static voID Main(string[] args)
{
    MLContext mlContext = new MLContext();

    IDataVIEw data1VIEw = mlContext.Data.LoadFromTextfile<Modelinput>(_data1Path, separatorChar: ',', hasheader: false);
    IDataVIEw data2VIEw = mlContext.Data.LoadFromTextfile<Modelinput>(_data2Path,1); word-wrap: inherit !important; word-break: inherit !important">false);
}

var forecastingPipeline = mlContext.Forecasting.ForecastBySsa(
    outputColumnname: "forecasted_count",
    inputColumnname: "count",
    windowsize: 7,
    serIEsLength: 30,
    trainSize: 334,
    horizon: 0.95f,
    confIDenceLowerBoundColumn: "lower_count",
    confIDenceUpperBoundColumn: "upper_count");

SsaForecastingtransformer forecaster = forecastingPipeline.Fit(data1VIEw);

Evaluate(IDataVIEw testData, Itransformer model, MLContext mlContext)
{
    IDataVIEw predictions = model.transform(testData);

    IEnumerable<float> actual =
        mlContext.Data.CreateEnumerable<Modelinput>(testData, true)
            .Select(p => p.count);

    IEnumerable<float> forecast =
        mlContext.Data.CreateEnumerable<ModelOutput>(predictions,1); word-wrap: inherit !important; word-break: inherit !important">true)
            .Select(p => p.forecasted_count[0]);

    var metrics = actual.Zip(forecast, (actualValue, forecastValue) => actualValue - forecastValue);

    var MAE = metrics.Average(error => Math.Abs(error));
    var RMSE = Math.Sqrt(metrics.Average(error => Math.Pow(error, 2)));

    Console.Writeline("评估结果");
    Console.Writeline("---------------------");
    Console.Writeline($"平均绝对误差: {MAE:F3}");
    Console.Writeline($"均方根误差: {RMSE:F3}\n");
}

string[] args)
{
        /* 这儿是前边训练的代码，略过 */

        Evaluate(data2VIEw, forecaster, mlContext);
}
/* 这儿是评估模型的方法，上面有，略过 */
}

评估结果
---------------------
平均绝对误差: 23.442
均方根误差: 174.236

var forecastEngine = forecaster.CreateTimeSerIEsEngine<Modelinput, ModelOutput>(mlContext);
ModelOutput forecast = forecastEngine.Predict();

IEnumerable<string> forecastOutput =
    mlContext.Data.CreateEnumerable<Modelinput>(data2VIEw, reuseRowObject: false)
        .Take(7)
        .Select((Modelinput data, int index) =>
        {
            string action_date = data.action_time.ToString("yyyy-MM-dd");
            float actual_count = data.count;
            float lowerEstimate = Math.Max(0, forecast.lower_count[index]);
            float estimate = forecast.forecasted_count[index];
            float upperEstimate = forecast.upper_count[index];
            return $"日期: {action_date}\n" +
            $"实际值: {actual_count}\n" +
            $"预测下限估值: {lowerEstimate}\n" +
            $"预测估值: {estimate}\n" +
            $"预测上限估值: {upperEstimate}\n";
        });

Console.Writeline("预测结果");
Console.Writeline("---------------------");
foreach (var prediction in forecastOutput)
{
    Console.Writeline(prediction);
}

预测结果
---------------------
日期: 2018-12-01
实际值: 24566.08
预测下限估值: 16791.379
预测估值: 20394.115
预测上限估值: 23996.852