albert实际应用中初步评估

bert的在推理性能是无可置疑的，将之应用到实际任务中，其实，重点就是要解决如何提高推理速度。albert是对bert的精简和优化，可以将之应用到项目。最近，做了一个测试：

1.数据源：tnews数据集，均是短文本，15个类别，形式如下

2.原始albert模型，~16M，如下

3.微调出ckpt模型，~50M，如下

4.推理性能，PQS如下

 可以看出，bert的PQS在gpu情况下还是可以的，如果再配上服务框架，应该会有更大的提升

原文：https://www.cnblogs.com/demo-deng/p/12743484.html