Dotnet core基于ML.net的销售数据预测实践
ML.net已經(jīng)進(jìn)到了1.5版本。作為Microsoft官方的機(jī)器學(xué)習(xí)模型,你不打算用用?
?
一、前言
ML.net可以讓我們很容易地在各種應(yīng)用場(chǎng)景中將機(jī)器學(xué)習(xí)加入到應(yīng)用程序中。這是這個(gè)框架很重要的一點(diǎn)。
通過ML.net,我們可以使用手中的可用數(shù)據(jù),進(jìn)行預(yù)測(cè)、分析、檢測(cè),而不需要進(jìn)行過于復(fù)雜的編程。
ML.net的核心,同樣是機(jī)器學(xué)習(xí)模型。它采用同樣的步驟,通過指定算法來訓(xùn)練模型,將輸入數(shù)據(jù)轉(zhuǎn)換為所需的預(yù)測(cè)數(shù)據(jù)。
更重要的是,ML.net基于.NET Core,這讓它可以非常簡(jiǎn)單地跨平臺(tái),在Windows、Linux、MacOS上運(yùn)行,并成為我們服務(wù)端的一部分內(nèi)容。
?
回到今天的主題。
我們用實(shí)際的例子,完成一個(gè)通過歷史銷售數(shù)據(jù)進(jìn)行單變量時(shí)序分析(單譜分析),以預(yù)測(cè)未來銷量的需求。
二、開發(fā)環(huán)境&基礎(chǔ)工程
這個(gè)Demo的開發(fā)環(huán)境是:Mac + VS Code + Dotnet Core 3.1.2。
$?dotnet?--info .NET?Core?SDK?(reflecting?any?global.json):Version:???3.1.201Commit:????b1768b4ae7Runtime?Environment:OS?Name:?????Mac?OS?XOS?Version:??10.15OS?Platform:?DarwinRID:?????????osx.10.15-x64Base?Path:???/usr/local/share/dotnet/sdk/3.1.201/Host?(useful?for?support):Version:?3.1.3Commit:??4a9f85e9f8.NET?Core?SDKs?installed:3.1.201?[/usr/local/share/dotnet/sdk].NET?Core?runtimes?installed:Microsoft.AspNetCore.App?3.1.3?[/usr/local/share/dotnet/shared/Microsoft.AspNetCore.App]Microsoft.NETCore.App?3.1.3?[/usr/local/share/dotnet/shared/Microsoft.NETCore.App]?
首先,在這個(gè)環(huán)境下建立工程:
創(chuàng)建Solution
這次,我們用Console創(chuàng)建工程
把工程加到Solution中
基礎(chǔ)工程搭建完成。
三、引入ML.net庫
為了使用ML.net,我們需要引入Microsoft.ML庫:
%?cd?demo %?dotnet?add?package?Microsoft.ML除此之外,本文是基于時(shí)序的預(yù)測(cè),還需要引入時(shí)序庫Microsoft.ML.TimeSeries:
%?dotnet?add?package?Microsoft.ML.TimeSeries?
我們今天用到的算法是單譜分析(SSA)。SSA會(huì)將時(shí)序分解為一組主要成分, 并將這些成分解釋為信號(hào),對(duì)應(yīng)于趨勢(shì)、噪音、季節(jié)性及許多其他的因素,然后重新構(gòu)建這些成分,用來預(yù)測(cè)未來某個(gè)時(shí)間的值。
四、準(zhǔn)備數(shù)據(jù)
為了這個(gè)DEMO,我準(zhǔn)備了一個(gè)包含全年365天實(shí)際銷售金額的數(shù)據(jù)。
其中這個(gè)數(shù)據(jù)又分為了兩部分,第一部分是前11個(gè)月的數(shù)據(jù),用來做訓(xùn)練,第二部分是12月一個(gè)月的數(shù)據(jù),用來評(píng)估模型。
兩部分?jǐn)?shù)據(jù)的鏈接如下:訓(xùn)練數(shù)據(jù),評(píng)估數(shù)據(jù)
兩個(gè)數(shù)據(jù)文件均為CSV文件,數(shù)據(jù)結(jié)構(gòu)完全相同,下面是一段內(nèi)容范例:
2018-12-21,17959.0 2018-12-22,19537.03 2018-12-23,20068.0 2018-12-24,20013.0 2018-12-25,21005.0 2018-12-26,16876.0 2018-12-27,15150.0 2018-12-28,15669.0 2018-12-29,25048.0 2018-12-30,25236.0五、代碼開發(fā)
準(zhǔn)備一個(gè)輸入模型ModelInput
這個(gè)模型對(duì)應(yīng)數(shù)據(jù)文件的結(jié)構(gòu),分兩個(gè)字段,第一個(gè)是日期,第二個(gè)是對(duì)應(yīng)的銷售金額。
準(zhǔn)備另一個(gè)輸出模型ModelOutput
這個(gè)模型跟隨預(yù)測(cè)結(jié)果的輸出,其中:
forecasted_count?- 預(yù)測(cè)時(shí)間段內(nèi)的預(yù)測(cè)值
lower_count?- 預(yù)測(cè)時(shí)間段內(nèi)預(yù)測(cè)值的下限
upper_count?- 預(yù)測(cè)時(shí)間段內(nèi)預(yù)測(cè)值的上限
?
初始化機(jī)器學(xué)習(xí)的實(shí)例
執(zhí)行所有 ML.NET 操作都是從MLContext類開始,初始化?MLContext將創(chuàng)建一個(gè)新的 ML.net 環(huán)境,并在模型創(chuàng)建工作流對(duì)象之間共享該環(huán)境。?
加載數(shù)據(jù)
ML.net有多種數(shù)據(jù)的加載方式,可以通過文件、數(shù)據(jù)庫、JSON/XML、內(nèi)存中加載數(shù)據(jù),甚至可以用自定義的數(shù)據(jù)庫連接加載數(shù)據(jù)。
本文的DEMO中,數(shù)據(jù)在CSV文件中,所以,我們采用下面的方式加載:
static?readonly?string?_data1Path?=?Path.Combine(Environment.CurrentDirectory,?"data1.csv"); static?readonly?string?_data2Path?=?Path.Combine(Environment.CurrentDirectory,?"data2.csv");static?void?Main(string[]?args) {MLContext?mlContext?=?new?MLContext();IDataView?data1View?=?mlContext.Data.LoadFromTextFile<ModelInput>(_data1Path,?separatorChar:?',',?hasHeader:?false);IDataView?data2View?=?mlContext.Data.LoadFromTextFile<ModelInput>(_data2Path,?separatorChar:?',',?hasHeader:?false); }IDataView是數(shù)據(jù)的承載空間。
定義時(shí)序分析管道
前面有說過,我們采用單譜分析,所以代碼中我們選擇了mlContext.Forecasting.ForecastBySsa。
解釋一下這里面的幾個(gè)參數(shù):
trainSize?- 數(shù)據(jù)樣本的數(shù)量,也就是訓(xùn)練數(shù)據(jù)的行數(shù)(在這個(gè)文件中,一行是一個(gè)數(shù)據(jù)樣本,共334行)
seriesLength?- 從數(shù)據(jù)樣本按時(shí)序采樣時(shí)的間隔,這里是30天
windowSize?- 樣本周期的天數(shù),這里是7天
horizon?- 預(yù)測(cè)結(jié)果的天數(shù)
confidenceLevel?- 上下限的可信度。預(yù)測(cè)屬于合理猜測(cè),不總是完全準(zhǔn)確。
其它幾個(gè)參數(shù),對(duì)應(yīng)輸入輸出模型的字段名
?
訓(xùn)練模型
管道定義完成,數(shù)據(jù)加載完成,下面要進(jìn)行數(shù)據(jù)訓(xùn)練。
SsaForecastingTransformer?forecaster?=?forecastingPipeline.Fit(data1View);跟隨上一節(jié),管道是單譜管道,所以訓(xùn)練也是單譜訓(xùn)練SsaForecastingTransformer。
?
程序執(zhí)行到這里,數(shù)據(jù)訓(xùn)練完成。
模型評(píng)估
模型評(píng)估不是必須環(huán)節(jié)。
模型評(píng)估的意義在于:通過評(píng)估模型的性能,來調(diào)整管道的參數(shù),以達(dá)到最佳的預(yù)測(cè)效果。
模型評(píng)估也有多種方式。在這里,我們采用平均絕對(duì)誤差和均方根誤差來做評(píng)估依據(jù)。
static?void?Evaluate(IDataView?testData,?ITransformer?model,?MLContext?mlContext) {IDataView?predictions?=?model.Transform(testData);IEnumerable<float>?actual?=mlContext.Data.CreateEnumerable<ModelInput>(testData,?true).Select(p?=>?p.count);IEnumerable<float>?forecast?=mlContext.Data.CreateEnumerable<ModelOutput>(predictions,?true).Select(p?=>?p.forecasted_count[0]);var?metrics?=?actual.Zip(forecast,?(actualValue,?forecastValue)?=>?actualValue?-?forecastValue);var?MAE?=?metrics.Average(error?=>?Math.Abs(error));var?RMSE?=?Math.Sqrt(metrics.Average(error?=>?Math.Pow(error,?2)));Console.WriteLine("評(píng)估結(jié)果");Console.WriteLine("---------------------");Console.WriteLine($"平均絕對(duì)誤差:?{MAE:F3}");Console.WriteLine($"均方根誤差:?{RMSE:F3}\n"); }在這個(gè)方法中,我們?nèi)≡u(píng)估數(shù)據(jù)的實(shí)際值actual和通過訓(xùn)練數(shù)據(jù)生成的預(yù)測(cè)值forecast,計(jì)算兩個(gè)誤差并輸出。
在Main中調(diào)用此方法:
static?void?Main(string[]?args) {/*?這兒是前邊訓(xùn)練的代碼,略過?*/Evaluate(data2View,?forecaster,?mlContext); } static?void?Evaluate(IDataView?testData,?ITransformer?model,?MLContext?mlContext) {/*?這兒是評(píng)估模型的方法,上面有,略過?*/ }輸出結(jié)果類似于以下內(nèi)容:
評(píng)估結(jié)果 --------------------- 平均絕對(duì)誤差:?23.442 均方根誤差:?174.236兩個(gè)指標(biāo):
平均絕對(duì)誤差?- 度量預(yù)測(cè)與實(shí)際值之間的接近程度。此值介于 0 到無限大之間。越接近 0,模型的質(zhì)量越好。
均方根誤差?- 匯總模型中的錯(cuò)誤。此值介于 0 到無限大之間。越接近 0,模型的質(zhì)量越好。
?
預(yù)測(cè)
訓(xùn)練模型調(diào)整到滿意后,即可開始預(yù)測(cè)的工作:
var?forecastEngine?=?forecaster.CreateTimeSeriesEngine<ModelInput,?ModelOutput>(mlContext); ModelOutput?forecast?=?forecastEngine.Predict();這兩行代碼,在內(nèi)存中加載前邊訓(xùn)練好的模型,并進(jìn)行預(yù)測(cè)操作。預(yù)測(cè)數(shù)據(jù)的結(jié)果放在forecast中。
對(duì)應(yīng)于分析管道定義中的horizon,預(yù)測(cè)數(shù)據(jù)包含7天的預(yù)測(cè)結(jié)果。
預(yù)測(cè)結(jié)果輸出
放在forecast中的數(shù)據(jù),對(duì)應(yīng)模型ModelOutput,可以用在任何地方。
在本文中,我們直接顯示到Console:
IEnumerable<string>?forecastOutput?=mlContext.Data.CreateEnumerable<ModelInput>(data2View,?reuseRowObject:?false).Take(7).Select((ModelInput?data,?int?index)?=>{string?action_date?=?data.action_time.ToString("yyyy-MM-dd");float?actual_count?=?data.count;float?lowerEstimate?=?Math.Max(0,?forecast.lower_count[index]);float?estimate?=?forecast.forecasted_count[index];float?upperEstimate?=?forecast.upper_count[index];return?$"日期:?{action_date}\n"?+$"實(shí)際值:?{actual_count}\n"?+$"預(yù)測(cè)下限估值:?{lowerEstimate}\n"?+$"預(yù)測(cè)估值:?{estimate}\n"?+$"預(yù)測(cè)上限估值:?{upperEstimate}\n";});Console.WriteLine("預(yù)測(cè)結(jié)果"); Console.WriteLine("---------------------"); foreach?(var?prediction?in?forecastOutput) {Console.WriteLine(prediction); }運(yùn)行結(jié)果類似于以下內(nèi)容:
預(yù)測(cè)結(jié)果 --------------------- 日期:?2018-12-01 實(shí)際值:?24566.08 預(yù)測(cè)下限估值:?16791.379 預(yù)測(cè)估值:?20394.115 預(yù)測(cè)上限估值:?23996.852?
完成!
六、延伸內(nèi)容
ML.net包含了很多機(jī)器學(xué)習(xí)的內(nèi)容。其中,我自己認(rèn)為時(shí)序預(yù)測(cè)是用途很廣的一個(gè)部分,可以用在
銷售預(yù)測(cè)
庫存預(yù)警
活動(dòng)策劃輔助
以及其它諸如天氣、股票、人口等諸多內(nèi)容上,依靠過去和現(xiàn)在的數(shù)據(jù),分析兩者之間的關(guān)系,然后利用得到的這個(gè)關(guān)系去預(yù)測(cè)未來的數(shù)據(jù)。
因此,在這個(gè)分類中,我的第一篇文章就寫了時(shí)序預(yù)測(cè)。
?
機(jī)器學(xué)習(xí),核心是各種算法,而算法的基礎(chǔ)是一類數(shù)學(xué)。這是一個(gè)很高的坎。刷算法,線性的部分還好,一旦到了冪次或矩陣,沒有正統(tǒng)的學(xué)習(xí),是很難有突破的。而即便刷通了,也只是皮毛性的理解,距離創(chuàng)造算法的大神,還有很長的距離。
所以,退而求其次,對(duì)很多人而言,與其花大功夫去研究算法,不如多研究下如何能把現(xiàn)有的算法或工具用好。
?
還有,在應(yīng)用中,你能用機(jī)器學(xué)習(xí)來預(yù)測(cè)銷量、預(yù)測(cè)庫存,有沒有很自豪?是不是很高大上?
?
(全文完)
?
本文的對(duì)應(yīng)代碼,在https://github.com/humornif/Demo-Code/tree/master/0013/demo
點(diǎn)「在看」,讓更多人因你而受益
↘ ?↘ ?↘
總結(jié)
以上是生活随笔為你收集整理的Dotnet core基于ML.net的销售数据预测实践的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ASP.NET Core分布式项目实战(
- 下一篇: C#9就这么来了,.NET开发者该做点什