Compiler:

  1. Adlik编译器支持OpenVINO INT8量化
  2. Adlik编译器支持TensorRT INT8量化，支持扩展量化校准器，降低引入量化带来的精度下降

 

Optimizer:

  1. 支持集成蒸馏方式，使用多教师网络进行蒸馏优化
  2. 支持ZEN-NAS搜索增强特性，包括并行训练，搜索加速优化，修复原有实现bug等，在搜索时间下降15%左右情况下，搜索Score略有提升，搜索到的模型训练精度提升2%~1%。

 

Inference Engine

  1. 支持Paddle Inference Runtime，使用Paddle模型时无需再通过Onnx组件转换，直接可以在Adlik环境上运行推理。
  2. 支持Intel TGL-U i5 设备推理，完成多模型支持验证，提交Benchmark
  3. 云原生镜像发布4版本，支持引擎各组件最新版本：
    • OpenVINO：4.582版本
    • TensorFlow：6.2
    • TensorRT：2.1.6
    • Tf-lite：4.0
    • TVM：7
    • Paddle Inference：1.2
  4. 新增C++版本Client API，支持cmake和bazel方式编译，方便用户在C/C++场景应用部署。

Benchmark Test

  1. 在Intel TGL-U i5 设备完成Resnet-50，Yolo v3/v4，FastRCNN，MaskRCNN等模型Benchmark测试，包括时延，吞吐量，以及GPU/CPU视频解码下的各种性能指标。
  • No labels