午夜视频在线网站,日韩视频精品在线,中文字幕精品一区二区三区在线,在线播放精品,1024你懂我懂的旧版人,欧美日韩一级黄色片,一区二区三区在线观看视频

分享

C#調(diào)用Python腳本訓(xùn)練并生成AI模型(以Paddle框架為例)

 行走在理想邊緣 2023-02-20 發(fā)布于四川

在平常工程項(xiàng)目開發(fā)過程中常常會涉及到機(jī)器學(xué)習(xí)、深度學(xué)習(xí)算法方面的開發(fā)任務(wù),但是受限于C#等語言官方并沒有提供預(yù)編譯包,因此需要通過嵌入代碼、調(diào)用dll、調(diào)用exe等方式。本文總結(jié)C#調(diào)用Python腳本訓(xùn)練并生成AI模型的各種方法。
環(huán)境說明:

CPU:AMD5800 8core 16Thread
GPU:NVIDIA GTX1080Ti
OS:Windows10 專業(yè)版
Visual Studio 2019 : .NET SDK 6.0.402(x64)
Windows SDK:Windows 10.0.19041.685

一. C#調(diào)用通過IronPython語言移植

1.1 IronPython安裝

IronPython 是一種在 NET 和 Mono 上實(shí)現(xiàn)的 Python 語言,用于將更多的動態(tài)語音移植到NET Framework上。
需要從Visual Studio上打開,安裝方式:工具-> NuGet包管理器->管理解決方案的NuGet程序包->搜索框輸入IronPython ->選擇項(xiàng)目后點(diǎn)擊安裝在這里插入圖片描述

1.2 示例代碼

CSharpCallPython.cs(C#控制臺程序)

using IronPython.Hosting;
using Microsoft.Scripting.Hosting;
using System;
 
namespace CSharpCallPython
{
    class Program
    {
        static void Main(string[] args)
        {
            ScriptEngine pyEngine = Python.CreateEngine();//創(chuàng)建Python解釋器對象
            dynamic py = pyEngine.ExecuteFile(@"test.py");//讀取腳本文件
            int[] array = new int[9] { 9, 3, 5, 7, 2, 1, 3, 6, 8 };
            string reStr = py.main(array);//調(diào)用腳本文件中對應(yīng)的函數(shù)
            Console.WriteLine(reStr);
 
            Console.ReadKey();
        }
    }
}

Python文件test.py需要放在項(xiàng)目的bin/Debug也就是生成exe的目錄下:
在這里插入圖片描述
test.py

def main(arr):
    try:
        arr = set(arr)
        arr = sorted(arr)
        arr = arr[0:]
        return str(arr)
    except Exception as err:
        return str(err)

1.3 運(yùn)行結(jié)果

在這里插入圖片描述

1.4 特點(diǎn)

ironPython安裝包僅適用于python腳本中不包含第三方模塊的情況,且需要客戶機(jī)上有Python環(huán)境

二. C#調(diào)用Python文件打包dll

2.1 步驟

2.1.1 Cython生成python腳本預(yù)編譯頭文件

新建一個目錄,命名為"mytest2",在目錄mytest2下面先編寫一個名為dl.py的python源代碼文件:

def str_add(str1, str2):
  return int(str1) + int(str2)

函數(shù)很簡單,就是將兩個字符串轉(zhuǎn)換成int后相加。
在目錄mytest2下面再編寫一個名為run.pyx的PYX文件:

cdef public int str_add(const char* str1,const char* str2):
  return int(str1) + int(str2)

這兩行的含義是將Python中的def改寫為cdef,同時加入public的聲明。
之后在conda環(huán)境中使用Cython運(yùn)行run.pyx文件得到兩個預(yù)編譯頭文件run.c和run.h:
在這里插入圖片描述

2.1.2 創(chuàng)建windows項(xiàng)目并編寫源文件

新建一個C++ 控制臺程序,在源文件中新建一個名為DllMain.cpp 的文件,用于生成dll。在Visual Studio的項(xiàng)目欄頭文件一列中加入run.c、run.h兩個文件:
在這里插入圖片描述

DllMain.cpp

#include <Python.h>
#include <Windows.h>
#include "run.h"

extern "C"
{
    __declspec(dllexport) int __stdcall _str_add(const char* a, const char* b) //聲明導(dǎo)出函數(shù),類,對象等供外面使用
    {
        return str_add(a, b);
    }
}
BOOL WINAPI DllMain(HINSTANCE hinstDLL, DWORD fdwReason, LPVOID lpReserved) {
    switch (fdwReason) {
    case DLL_PROCESS_ATTACH:
        Py_Initialize();
        PyInit_run();  //dll初始化的時候調(diào)用,這是python3的寫法,python2改成,initrun()。參見生成的run.h
        break;
    case DLL_PROCESS_DETACH:
        Py_Finalize();
        break;
    }
    return TRUE;
}

其中extern "C"這一部分相當(dāng)于cpp編譯器對.c文件編譯時的特殊標(biāo)識,相當(dāng)于定義了一個區(qū)別于.cpp文件中的str_add函數(shù)(如果同名的話);PyInit_run()在run.c中有對應(yīng)的函數(shù)定義。

2.1.3 配置項(xiàng)目屬性

首先選擇Release模式,平臺選擇活動(x64)。
項(xiàng)目->屬性->VC++目錄->包含目錄->中加入Conda虛擬環(huán)境的include路徑:
在這里插入圖片描述
項(xiàng)目->屬性->VC++目錄->庫目錄->加入Conda虛擬環(huán)境的libs路徑`:
在這里插入圖片描述

然后項(xiàng)目屬性鏈接器->輸入->附加依賴項(xiàng)->選擇加入Conda虛擬環(huán)境的libs路徑`:
在這里插入圖片描述

配置屬性->常規(guī)->配置類型->選擇dll
在這里插入圖片描述
C/C++->常規(guī)->附加包含目錄->加入include目錄在這里插入圖片描述

2.1.4 運(yùn)行項(xiàng)目生成dll

生成后的dll路徑在項(xiàng)目名/x64/Realease中。
在這里插入圖片描述

2.1.5 測試生成的dll

新建一個C++控制臺項(xiàng)目,建立源文件Demo.cpp用于加載dll做測試。項(xiàng)目同樣選擇Release模式和**(活動)x64**平臺:
Demo.cpp

#include <Windows.h>
#include <iostream>
#include <tchar.h>
using namespace std;
int main()
{
    typedef int(*pAdd)(const char* a, const char* b);
    // python_to_DLL.dll為你的dll名字,注意修改
    HINSTANCE hDLL = LoadLibrary(_T("E:\Fileresipority\project\LeiKe\Demo09\Demo09\Demo08.dll"));
    cout << "hDLL:" << hDLL << endl;
    if (hDLL)
    {
        // 獲取DLL中需要調(diào)用的函數(shù)的地址
        pAdd pFun = (pAdd)GetProcAddress(hDLL, "_str_add");
        cout << "pFun:" << pFun << endl;
        const char* stra = "12";
        const char* strb = "22";
        if (pFun)
        {
            int i = pFun(stra, strb);
            cout << "i = " << i << endl;
        }
    }
    // 調(diào)用dll測試
    //將字符變成int然后相加
    system("pause");
    return 0;
}

C/C++->高級->編譯為->選擇編譯為C++代碼 :
在這里插入圖片描述
編譯運(yùn)行后加載dll并輸出結(jié)果:
在這里插入圖片描述

2.2 限制

實(shí)現(xiàn)方式很復(fù)雜,并且受python版本、(python/vs)32/64位影響,而且要求用戶必須有python運(yùn)行環(huán)境。

三. C#命令行調(diào)用.py文件執(zhí)行

3.1 代碼

AI模型這里使用Paddle框架的PaddleX工具快速訓(xùn)練并生成模型文件(以蔬菜分類為例),有關(guān)PaddleX的使用詳見我的《深度學(xué)習(xí)》專欄。
Test.cs(C#控制臺程序)

using System;
using System.Collections;
using System.Diagnostics;

namespace Test
{
    class Program
    {
        static void Main(string[] args)
        {
            Process p = new Process();
            string path = @"E:\Fileresipority\project\LeiKe\Demo02\Demo02\bin\Debug\reset_ipc.py";//待處理python文件的路徑,本例中放在debug文件夾下
            string sArguments = path;
            p.StartInfo.FileName = @"D:\Anaconda\envs\paddle2.2\python.exe"; //PaddleX環(huán)境中對應(yīng)python3.7的安裝路徑
            p.StartInfo.Arguments = sArguments;//python命令的參數(shù)
            p.StartInfo.UseShellExecute = false;
            p.StartInfo.RedirectStandardOutput = true;
            p.StartInfo.RedirectStandardInput = true;
            p.StartInfo.RedirectStandardError = true;
            p.StartInfo.CreateNoWindow = true;
            p.Start();//啟動進(jìn)程

            Console.WriteLine("執(zhí)行完畢!");

            Console.ReadKey();
        }
    }
}

reset_ipc.py

import paddle
import paddlex as pdx
from paddlex import transforms as T



# 定義訓(xùn)練和驗(yàn)證時的transforms
# API說明:https://github.com/PaddlePaddle/PaddleX/blob/develop/docs/apis/transforms/transforms.md
train_transforms = T.Compose(
    [T.RandomCrop(crop_size=224), T.RandomHorizontalFlip(), T.Normalize()])

eval_transforms = T.Compose([
    T.ResizeByShort(short_size=256), T.CenterCrop(crop_size=224), T.Normalize()
])

# 定義訓(xùn)練和驗(yàn)證所用的數(shù)據(jù)集
# API說明:https://github.com/PaddlePaddle/PaddleX/blob/develop/docs/apis/datasets.md
train_dataset = pdx.datasets.ImageNet(
    data_dir='../vegetables_cls/',
    file_list='../vegetables_cls/train_list.txt',
    label_list='../vegetables_cls/labels.txt',
    transforms=train_transforms,
    shuffle=True)

eval_dataset = pdx.datasets.ImageNet(
    data_dir='../vegetables_cls/',
    file_list='../vegetables_cls/val_list.txt',
    label_list='../vegetables_cls/labels.txt',
    transforms=eval_transforms)

# 初始化模型,并進(jìn)行訓(xùn)練
# 可使用VisualDL查看訓(xùn)練指標(biāo),參考https://github.com/PaddlePaddle/PaddleX/blob/develop/docs/visualdl.md
num_classes = len(train_dataset.labels)
model = pdx.cls.MobileNetV3_large(num_classes=num_classes)

# 自定義優(yōu)化器:使用CosineAnnealingDecay
train_batch_size = 32
num_steps_each_epoch = len(train_dataset) // train_batch_size
num_epochs = 10
scheduler = paddle.optimizer.lr.CosineAnnealingDecay(
    learning_rate=.001, T_max=num_steps_each_epoch * num_epochs)
warmup_epoch = 5
warmup_steps = warmup_epoch * num_steps_each_epoch
scheduler = paddle.optimizer.lr.LinearWarmup(
    learning_rate=scheduler,
    warmup_steps=warmup_steps,
    start_lr=0.0,
    end_lr=.001)
custom_optimizer = paddle.optimizer.Momentum(
    learning_rate=scheduler,
    momentum=.9,
    weight_decay=paddle.regularizer.L2Decay(coeff=.00002),
    parameters=model.net.parameters())

# API說明:https://github.com/PaddlePaddle/PaddleX/blob/95c53dec89ab0f3769330fa445c6d9213986ca5f/paddlex/cv/models/classifier.py#L153
# 各參數(shù)介紹與調(diào)整說明:https://paddlex./zh_CN/develop/appendix/parameters.html
model.train(
    num_epochs=num_epochs,
    train_dataset=train_dataset,
    train_batch_size=train_batch_size,
    eval_dataset=eval_dataset,
    optimizer=custom_optimizer,
    save_dir='output/mobilenetv3_large',
    use_vdl=True)

3.3 運(yùn)行結(jié)果

在這里插入圖片描述

3.4 特點(diǎn)

優(yōu)點(diǎn):適用于python腳本中包含第三方模塊的情況,且執(zhí)行速度只比在python本身環(huán)境中慢一點(diǎn),步驟也相對簡單。
缺點(diǎn):需要用戶有python環(huán)境。

四. C#調(diào)用Python可執(zhí)行exe

4.1 步驟

使用命令行進(jìn)行傳參取返回值

4.1.1 使用pyinstaller打包python程序

安裝pyInstaller:

pip install pyInstaller

在這里插入圖片描述
打包訓(xùn)練模型的py文件:

pyInstaller -F reset_ipc.py

在這里插入圖片描述
打包的過程非常漫長,可見深度學(xué)習(xí)的python程序非常臃腫。
運(yùn)行成功后在dist 目錄下有reset_ipc.exe文件生成:在這里插入圖片描述

4.1.2 在c#中調(diào)用此exe文件

Demo02.cs

namespace WpfTest2
{
    /// <summary>
    /// MainWindow.xaml 的交互邏輯
    /// </summary>在這里插入圖片描述

    public partial class MainWindow : Window
    {
        public MainWindow()
        {
            InitializeComponent();
        }

        private void Button_Click(object sender, RoutedEventArgs e)
        {
            //string debugPath = System.Environment.CurrentDirectory;           //此c#項(xiàng)目的debug文件夾路徑
            string pyexePath = @"E:\Fileresipority\project\LeiKe\dist\reset_ipc.exe";     
            //python文件所在路徑,一般不使用絕對路徑,此處僅作為例子,建議轉(zhuǎn)移到debug文件夾下
            
            Process p = new Process();
            p.StartInfo.FileName = pyexePath;//需要執(zhí)行的文件路徑
            p.StartInfo.UseShellExecute = false; //必需
            p.StartInfo.RedirectStandardOutput = true;//輸出參數(shù)設(shè)定
            p.StartInfo.RedirectStandardInput = true;//傳入?yún)?shù)設(shè)定
            p.StartInfo.CreateNoWindow = true;
            p.StartInfo.Arguments = "2 3";//參數(shù)以空格分隔,如果某個參數(shù)為空,可以傳入””
            p.Start();
            string output = p.StandardOutput.ReadToEnd();
            p.WaitForExit();//關(guān)鍵,等待外部程序退出后才能往下執(zhí)行}
            Console.Write(output);//輸出
            p.Close();        
        }
    }
}

在這里插入圖片描述

打包顯示成功了,但運(yùn)行結(jié)果不太理想,事實(shí)證明打包深度學(xué)習(xí)的exe不是很容易:

在這里插入圖片描述

4.2 特點(diǎn)

優(yōu)點(diǎn):無需安裝python運(yùn)行環(huán)境
缺點(diǎn):
1、可能是因?yàn)橐归_exe中包含的python環(huán)境,執(zhí)行速度很慢。
2、因?yàn)槭敲钚袀鲄⑿问?,需要手動傳?。
3、深度學(xué)習(xí)項(xiàng)目打包困難。

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點(diǎn)擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多