Folders and files Name Name Last commit message
Last commit date
parent directory
View all files
TensorRT Cookbook in Chinese
有用的参考文档：
TensorRT 文档 link
TensorRT 特性支持列表 link
TensorRT C++ API link
TensorRT Python API link
下列各章节的目录内包含了该章节的详细 README.md
初次使用，请在起 docker container 之后参考 requirement.txt 自选安装需要的库 pip install -r requirement.txt
Cookbook 用到的 MNIST 数据集，运行其他示例代码前，需要下载到本地并做一些预处理
使用 TensorRT 的基本步骤，包括网络搭建、引擎构建、序列化与反序列化、推理计算
示例涵盖 TensorRT6，TensorRT7，TensorRT8（部分 API 有差异），均包含 C++ 和 python 的等价实现
TensorRT 各 API 的用法，包括各层详细用法、打印网络信息、Dynamicshape 模式的 Shape 操作示例、Int8-QDQ 网络
采用 TensorRT API 搭建方式重建来自各种 ML 框架中模型的关键步骤，包括原模型权重提取，TensorRT 中典型层的搭建和权重加载
一个完整的、基于 MNIST 数据集的、手写数字识别模型的示例，该模型在 TensorFlow / pyTorch 中训练好之后在 TensotRT 中重建并推理
不同 ML 框架中训练好的模型使用 Parser 迁移到 TensorRT 中并推理的样例
示例以基于 MNIST 数据集的、手写数字识别模型为例，使用 TensorRT8 python 代码实现
实现 Plugin 并运用到 TensorRT 推理中的样例，使用 TensorRT8 版本 python 实现
结合使用 Paser 和 Plugin 来转化模型并在 TensorRT 中推理
使用各 ML 框架内置的接口来使用 TensorRT 的样例
开发辅助工具的使用示例，包括 Netron，onnx-graphsurgeon，nsight system，trtexec，Polygraphy，trex
在将模型部署到 TensorRT 上时常见的报错信息及其解决办法
TensorRT 教程的 .pptx 或对应的 .pdf，以及一些其他有用的参考资料
旧版本 TensorRT 中的一些 API 和用法，他们在较新版本 TensorRT 中已被废弃，直接使用会报错退出
施工中……没有完成的范例代码，以及同学们提出的新的范例需求
You can’t perform that action at this time.