使用Qt如何编写模块化插件式应用程序

本文介绍的是，对于插件式应用程序的讲解，也很详细，我们废话不多说，先看内容。动态链接库技术使软件工程师们兽血沸腾，它使得应用系统（程序）可以以二进制模块的形式灵活地组建起来。比起源码级别的模块化，二进制级别的模块划分使得各模块更加独立，各模块可以分别编译和链接，模块的升级不会引起其它模块和主程序的重新编译，这点对于大系统的构建来说更加实用。另一方面，对于商业目的明显的企业，各模块可以独立设置访问权限，开发成员只能访问自己负责的模块，其它模块是不能也不给看到的，这样减少了整个系统泄漏技术的风险。一、动态链接库技术概况动态链接库技术用得很多。事实上，整个Windows就是由一个个动态链接库（DLL）构建起来的，不管是系统内核，或是系统调用的API封装，还是通用工具（如控制面板、ActiveX插件等），都是一个个动态链接库文件。动态链接库并不是微软独有的技术，它是软件工程发展到一定阶段的必然产物。在类Unix系统中，这种二进制可执行模块技术不叫动态链接库，而被称为共享对象或共享库，后缀名一般为.so（即Share Object的简写）。为简便，下文将统称这种动态链接的技术为DLL或共享库。其实，DLL文件跟普通的可执行文件差别不大，都是可执行文件嘛，装载到进程空间后，都是一些机器指令（函数代码）、内存分配（变量）等。在Windows中，这些可执行文件被称作PE/COFF格式文件，在Linux则称为ELF文件。从CPU的角度看来，程序中的各个要素，不管是函数还是变量，它们都是一个个地址，函数是入口地址，变量是访问地址；而C++的所谓类或对象，最后也被编译器肢解成了一个个变量和函数代码（这里是形象的说法，严谨技术解说请搜索C++对象模型）。DLL的装载（指导入进程空间，然后执行）方式比可执行文件的装载稍微复杂，因为它把模块链接过程推迟到了运行时。在动态链接库的装载过程中，首要任务就是解决地址重定向问题。我们知道，DLL装载到进程空间的位置（基址）是不确定的（动态装载嘛），即使DLL内部使用的函数调用和全局变量引用，在装载时都要重新计算其地址。Windows采用基址重定向（Rebasing）技术解决这一问题，而Linux采用地址无关代码（PIC，通过GOT和PLT表实现）技术。这两种技术各有优缺点。二、Qt中的动态链接库编程使用C++面向对象的类编写DLL是要注意很多细节的，主要是二进制（ABI）兼容问题。COM是一个很成功的例子，只要符合COM的规范，我们就能编写出很好的DLL来，然而COM是微软私生的，要想跨平台，我们还得另找它路。Qt的跨平台特性同样令人（至少是我）兽血沸腾。如果你认为QT仅仅是一个跨平台界面库，那就小看它了。我要说的是，它不但是一个通用的跨平台的面向对象的应用程序接口库（包括GUI、数据库、网络、多线程、XML、数据容器和算法等，常用的编辑资源都有封装，就是说，这些都可以跨平台，而不仅仅是界面），更是一种C++语言的扩展，一种编程平台和应用程序框架。信号和槽的机制简化了对象之间的通信，比MFC的消息映射直观多了；界面的布局管理机制使开发人员可以很轻松地编出优雅的窗体；界面语言翻译机制也很方便实用；QObject容器管理可以看到Qt在内存管理方面的努力；扩展的foreach循环结构也向现代语言靠拢……Qt的跨平台特性很好，对于本文的主题——动态链接库的支持也很好。QT对各种平台的动态链接库编程技术都有包装，QT把这种技术统一命名为共享库（Shared Libraries）。通过使用Qt包装过的类和宏，可以编写跨平台的共享库和插件——当然，这只是源代码级别的跨平台，你不要指望用MSVC编译出来的DLL，能集成到ARM平台的Linux程序上面——这是一个很美很美的理想哦。QT使用以下两个宏来实现符号（函数或全局变量/对象）的导出和导入（跨平台不能用def文件了）：Q_DECL_EXPORT // 必须添加到符号声明中（共享库项目） Q_DECL_IMPORT // 必须添加到符号声明中（使用共享库的客户项目） Q_DECL_EXPORT // 必须添加到符号声明中（共享库项目）Q_DECL_IMPORT // 必须添加到符号声明中（使用共享库的客户项目）QT使用 QLibrary 类实现共享库的动态加载，即在运行时决定加载那个DLL程序，插件机制使用。三、QT共享库和插件范例本节通过例子，实现一个共享库和一个插件。在Windows平台上开发，使用VS2005编译，QT库版本为4.6.2。本例了将编写以下三类项目：Bil 项目：共享库项目，输出Bil.dll和Bil.lib，基础接口类库，定义一个公共的接口IAnimal（抽象类），供客户项目和插件项目使用；Plugin 类项目：插件类项目，现编写BilDog和BilPanda两插件项目，实现IAnimal的功能，供客户项目加载和测试。两项目输出BilDog.dll和BilPanda.dll；Test 项目：客户应用程序项目，输出Test.exe，界面中可以选择要加载的Animal插件，然后调用Animal的功能函数，完成测试；1. 编写共享库——Bil 项目的实现该项目定义一个抽象的 IAnimal 类作为导出接口，供客户项目和插件项目使用。项目类型为共享库，将生成Bil.lib和Bil.dll两个文件，Bil.lib供Plugin项目和Test 项目引用，而Bil.dll将给Test.exe运行时动态加载。新建一个头文件Bil.h，输入如下代码：view plaincopy to clipboardprint? #ifndef BIL_H #define BIL_H #include <Qt/qglobal.h>// 定义BIL_SHARE，使用者可以不用再处理符号的导入和导出细节 #ifdef BIL_LIB # define BIL_SHARE Q_DECL_EXPORT #else # define BIL_SHARE Q_DECL_IMPORT #endif #endif // BIL_H #ifndef BIL_H #define BIL_H #include <Qt/qglobal.h>// 定义BIL_SHARE，使用者可以不用再处理符号的导入和导出细节 #ifdef BIL_LIB # define BIL_SHARE Q_DECL_EXPORT #else # define BIL_SHARE Q_DECL_IMPORT #endif #endif // BIL_H 你现在可能不知道BIL_SHARE宏有何用处。没关系，请继续看下面的IAnimal接口定义代码：view plaincopy to clipboardprint? #ifndef IANIMAL_H #define IANIMAL_H #include "Bil.h" class BIL_SHARE IAnimal { public: IAnimal()virtual ~IAnimal()public: virtual void Eat() = 0virtual void Run() = 0virtual void Sleep() = 0}#endif // IANIMAL_H #ifndef IANIMAL_H #define IANIMAL_H #include "Bil.h" class BIL_SHARE IAnimal { public: IAnimal()virtual ~IAnimal()public: virtual void Eat() = 0virtual void Run() = 0virtual void Sleep() = 0}#endif 现在知道BIL_SHARE宏的妙用了吧。BIL_SHARE宏会根据项目编译选项BIL_LIB有没有定义，自动声明IAnimal是导出类，还是导入类。所以，使用BIL_SHARE宏，我们只需要向IAnimal插件的开发者提供同一份IAnimal定义文件（IAnimal.h）即可。当然，我们得先在Bil项目的编译选项中定义BIL_LIB宏，使得在Bil项目内，BIL_SHARE就是导出符号的声明。插件项目就不要定义BIL_LIB了，因为在Animal插件项目中，IAnimal是导入符号。编译选项如何定义宏？如果使用Visual Studio工程文件，依次展开：项目属性->配置属性->C/C++->预处理器，在预处理器定义中添加宏BIL_LIB即可；如果是QT工程文件，请在QT工程文件Bil.pro中加入如下定义：DEFINES += BIL_LIB DEFINES += BIL_LIB 在IAnimal接口中，我们定义了三个纯虚函数Eat()、Run()和Sleep()，表示吃、跑和睡眠的动作，这是抽象的，因为不同的动物有不同的吃相和睡眠姿态，而世间的动物何止千千万——无所谓，让这些具体动物的不同表现交给IAnimal插件的编写者发挥吧——这就是接口的魅力，加上插件的思想，整个应用程序就变成开放的，可扩展的了！继续编写Anima类的实现文件Anima.cpp：view plaincopy to clipboardprint? #include "IAnimal.h" IAnimal::IAnimal() { } IAnimal::~IAnimal() { } #include "IAnimal.h" IAnimal::IAnimal() { } IAnimal::~IAnimal() { } 虽然只实现了构造和析构函数，并且什么工作也不做，但这是必要的，我们暂时不要使用内联的构造和析构函数，否则在插件项目实现IAnimal时可能会出现链接错误。好了，我们开始编译吧，生成整个Bil项目。最终我们得到两个输出文件：Bil.lib 和 Bil.dll。我们向Animal插件开发者提供：两个头文件：Bil.h 和 IAnimal.h两个库文件：Bil.lib 和 Bil.dll下面的插件类项目和客户项目就是依赖这些文件实现的，也许你更愿意把Bil看作是一个通用的DLL类库，就像QT或MFC一样——事实上也是如此，Bil就是这样一个动态的共享类库。2. 编写Animal插件——BilDog和BilPanda项目的实现现在，让我们来实现两个小插件。BilDog插件很简单，只是汇报下“我是Dog，我正在啃骨头”；BilPanda也是如此——这里仅仅是测试而已，实现的项目中，你可以尽情的发挥——没错，是在遵循IAnimal接口的前提下。创建BilDog项目，把Bil项目输出的Bil.h、IAnimal.h和Bil.lib加入到工程。创建Dog类的头文件Dog.h： view plaincopy to clipboardprint? #ifndef CLASS_DOG_H #define CLASS_DOG_H #include "IAnimal.h" class Dog : public IAnimal { public: Dog(void)virtual ~Dog(void)public: virtual void Eat()virtual void Run()virtual void Sleep()}#endif // CLASS_DOG_H #ifndef CLASS_DOG_H #define CLASS_DOG_H #include "IAnimal.h" class Dog : public IAnimal { public: Dog(void)virtual ~Dog(void)public: virtual void Eat()virtual void Run()virtual void Sleep()}#endif 创建Dog类的实现文件Dog.cpp：view plaincopy to clipboardprint? #include <QtGui/QMessageBox>#include "Dog.h" Dog::Dog(void) { } Dog::~Dog(void) { } void Dog::Eat() { QMessageBox::information(NULL, "Hello", "Dog eating ...")} void Dog::Run() { QMessageBox::information(NULL, "Hello", "Dog running ...")} void Dog::Sleep() { QMessageBox::information(NULL, "Hello", "Dog sleeping ...")} #include <QtGui/QMessageBox>#include "Dog.h" Dog::Dog(void) { } Dog::~Dog(void) { } void Dog::Eat() { QMessageBox::information(NULL, "Hello", "Dog eating ...")} void Dog::Run() { QMessageBox::information(NULL, "Hello", "Dog running ...")} void Dog::Sleep() { QMessageBox::information(NULL, "Hello", "Dog sleeping ...")} 调用QT的QMessageBox::information()函数d出一个信息提示框。还有一个非常重要的工作，我们得提供一个能够创建（释放）Animal具体对象（这里是Dog）的接口，并且把这些函数导出，让主程序（Test.exe）能够解析这个接口函数，动态创建Animal对象，并访问其功能。新建BilDog.h文件，输入下面的代码：view plaincopy to clipboardprint? #ifndef BILDOG_H #define BILDOG_H #include "Dog.h" // extern "C" 生成的导出符号没有任何修饰，方便主程序找到它 extern "C" { Q_DECL_EXPORT IAnimal * CreateAnimal()Q_DECL_EXPORT void ReleaseAnimal(IAnimal * animal)} #endif // BILDOG_H #ifndef BILDOG_H #define BILDOG_H #include "Dog.h" // extern "C" 生成的导出符号没有任何修饰，方便主程序找到它 extern "C" { Q_DECL_EXPORT IAnimal * CreateAnimal()Q_DECL_EXPORT void ReleaseAnimal(IAnimal * animal)} #endif 这两个函数的工作很简单，直接创建和释放对象即可。

"""

NLP命名体识别bilstm+crf

1、准备数据：origin_handle_entities()

读取源数据文件，把人名，地名，机构名合并起来

2、读取处理后的数据：origin_handle_mark()

把预处理后的的文本标注成BMO的格式，

B(begin)、M(middle)、E(end)、O(other)

3、句子切分：sentence_split()

按照指定的格式，比如标点等内容对数据完成切分

4、保存数据

a.将标注的句子拆分自成列表和对应的标注序列

b.创建词汇表和标签

c.文本的向量化表示

d.划分训练集和测试集

e.保存成二进制pkl文件

5、加载数据

6、训练模型BiLSTM&HMM

7、保存训练后的模型用于预测

8、预测

"""

import codecs

import re

import collections

import pickle

import TorchCRF as CRF

import numpy as np

from tensorflow.keras.preprocessing.sequence import pad_sequences #使用tensorflow的pad_sequences进行数据对齐 tensorflow2.3.1

from sklearn.model_selection import train_test_split

def origin_handle_entities():

with open('renmin.txt','r',encoding='utf-8') as inp,

open('middle/renmin2.txt','w',encoding='utf-8')

as outp:

#读取源文件中的数据

for line in inp.readlines():

#按照空格切分

line = line.split(' ')

i = 1

while i <len(line) - 1:

if line[i][0] == '[':

outp.write(line[i].split('/')[0][1:])

i += 1

while i <len(line) - 1 and line[i].find(']') == -1:

if line[i] !='':

#print(line[i].split('/')[0])

outp.write(line[i].split('/')[0])

i += 1

outp.write(line[i].split('/')[0].strip()+'/'+line[i])

elif line[i].split('/')[1] == 'nr':

word = line[i].split('/')[0]

i += 1

if i <len(line) - 1 and line[i].split('/')[1] == 'nr':

outp.write(word + line[i].split('/')[0] + 'nr')

else:

outp.write(word + '/nr ')

continue

else:

outp.write(line[i] + '/no ')

i += 1

outp.write('\n')

import codecs

def origin_handle_mark():

"""

1、读取数据预处理后的renmin2.txt

2、将标注好的数据写入renmin3.txt

a.打开输入和输出文件

b.遍历输入文件renmin2.txt

:return:

"""

with codecs.open('middle/renmin2.txt','r',encoding='utf-8') as inp,

codecs.open('middle/renmin3.txt','w',encoding='utf-8') as outp:

#########句子切分###################################

import re

def sentence_split():

with codecs.open('middel/renmin3.txt','r',encoding='utf-8') as inp,

codecs.open('middle/renmin4.txt','w',encoding='utf-8') as outp:

#文本文件的内容设置为对应的utf-8编码，python3：先encode，再decode

texts = inp.read().encode('utf-8').decode('utf-8')

#切分句子

sentences =

re.split('[，。！？、''""：]/[0]'.encode('utf-8').decode('utf-8'),

texts)

for sentence in sentences:

if sentence != ' ':

outp.write(sentence.strip() + '\n')

def data_to_pkl():

"""

将文本数据保存成二进制pkl文件

:return:

"""

def main():

# 数据清洗

origin_handle_entities()

#数据标注（字）

origin_handle_mark()

# 句子切分

sentence_split()

# 数据转换

data_to_pkl()

if name == ' main ':

main()

##################################################################################################

def load_data():

pickle_path = '../data_target_pkl/renmindata.pkl'

with open(pickle_path,'rb') as inp:

word2id,id2word,tag2id,id2tag,x_train,y_train,x_test,y_test,x_valid,y_valid =pickle.load(inp)

def main():

word2id = load_data()

print(len(word2id))

if name == ' main ':

main()

#######################################################################################

import torch

import torch.nn as nn

from torch.utils.data import Dataset # 批量读取数据

class NERDataSet(Dataset):

"""

X:表示样本，Y:表示标签

"""

def init (self,X,Y, args, *kwargs):

"""

class Config():

embedding_dim = 100 #词向量的维度

hidden_dim = 200

config = Config()

class NERLSTM_CRF(nn.Module):

"""

1、输入层

2、词映射（Embedding（vocab_size，embedding_dim））

3、LSTM

4、全连接层

"""

def init (self):

super(NERLSTM_CRF,self). init ()

self.embeding_dim = config.embeding_dim

self.hidden_dim = config.hidden_dim

self.vocab_size = config.vocab_size

self.num_tags = config.num_tags

##################################################

from torch.utils.data import DataLoader #批量加载数据

import torch

import torch.optim as op

def utils_to_train():

device = torch.device('cpu')

max_epoch = 1

batch_size = 32

num_workers =4 #开启几个线程取执行程序

def parse_tags(text,path):

id2tag = load_data()

tags = [id2tag[idx] for idx in path]

##################################################

from sklearn.metrics import classification_report,precision_score,recall_score,f1_score

word2id = load_data()[0]

max_epoch,device,train_data_loader,valid_data_loader,test_data_loader,model = utils_to_train()

class ChineseNER(object):

def train(self):

for epoch in range(max_epoch):

---