本内容由系统网小编为大家分享，Windows系统安装教程、办公系统、软件怎么使用、软件使用教程、办公软件攻略等信息。

TensorRT 最常见的问题

点击此处加入 NVIDIA 开发者方案。

以下部分涉及关于荷兰荷兰人口研究所TensorRT通常情况的最常见问题。

14.1. FAQs

这一部分的目标是协助解决问题,并回答经常提出的问题。

如何制造引擎来优化不同批量的大小?

答复:虽然TensorRT允许发动机在某一批量尺寸上以任何较小尺寸工作,但这些较小尺寸无法有效运行。OptProfilerSelector::kOPT创建尺寸最佳配置文件。

问题:引擎和校准表能否跨越TensorRT版本移动?

A:否。由于内部化和格式化将不断优化,不同版本之间也各不相同,因此引擎和校准表不能保证与TensorRT二进制的不同版本兼容。在使用新版本的TensorRT时,应用程序必须生成新引擎和INT8校准表。

您如何确定最佳工作空间大小?

某些TensorRT算法需要更多的 GPU 工作空间。IBuilderConfig::setMemoryPoolLimit()限制可分配工作空间的最大数量,阻止建筑商考虑需要更多空间的方法。IExecutionContext即使搜索文件夹(_E)..IBuilderConfig::setMemoryPoolLimit()因此,应用软件应尽可能为TensorRT建筑商提供尽可能多的工作空间;在操作时,TensorRT不会分配更多,而且往往会减少。

如何利用TensorRT在多个 GPU 上使用?

答：每个ICudaEngine当夸大时,物体会被附加在特定的 GPU 上, 无论是通过构建器还是反序列。 要选择 GPU, 在使用构建器或反序列引擎之前使用它 。cudaSetDevice()。每个IExecutionContext他们拥有与引擎相同的 GPU 。execute()或enqueue(),如果需要,通过拨号cudaSetDevice()检查线索是否被绑在正确的设备上 。

问:我怎样才能从图书馆档案中获得TensorRT版本?

A:符号表只有一个名字。tensorrt_version_#_#_#_#,提供 TensorRT 版本号。在 Linux 上,您可以使用 nm 指令读取此符号如下:

问:如果我的网络返回错误的结果, 我该怎么办?A:您的网络产生错误结果有几个原因。 以下是一些解决问题的方法,有助于诊断问题:

在日志流中打开 VERBOSE 级别信息,并检查 TensorRT 报告的内容。 检查输入前处理是否正在生成网络所需的输入格式。 如果您选择的精度较低,请在 FP32 中运行网络。如果它提供正确的结果,在网络的动态范围中,精度较低可能不够。 将网络的中负载标记为输出 并检查它是否符合你的期望

注:将负载标记为产出妨碍优化,从而影响结果。

质谱学可以帮助您调试和诊断。

问题:TensorRT的批量标准化如何运作?

TensorRT确实支持批量标准化。IElementWiseLayer序列完成 。

问:为什么当我使用DLA时,我的网络比不使用DLA时慢?

DLA的目标是最大限度地提高能源效率。取决于 DLA 和 GPU 支持的功能,任何类型的成绩都会提高业绩。就业的实现类型取决于您的延迟或摄入需求以及您的权力预算。由于所有DLA引擎都独立于 GPU 和彼此独立,因此,你可以使用两种类型的实现来进一步提高网络的吞吐量。

问题:TensorRT能处理INT4或INT16吗?

TensorRT目前不支持INT4和INT16量化。

问:TensorRT何时支持我的网络?

答复:UFF已经退役。我们建议客户迁移到 ONNX 工作流程。 TensorRT ONNX 采集器是一个自由开放源码的项目 。

问:我能否利用多位TensorRT建筑商建立各种目标?

TensorRT假设,它建造的设备的所有资源都可以最佳地加以利用。同时使用几个TensorRT建筑工匠(例如,多重数字T假设,它建造的设备的所有资源都可以最佳地加以利用。同时使用几个TensorRT建筑工匠(例如,多重)trtexec不同目标(例如,DLA0、DLA1系统资源的超额订阅(如CPU和GPU)可能导致不确定的行为(如计划效率低下、建筑工故障或系统不稳定)。

建议使用带有--saveEngine参数的trtexec为各种目的(DLA和GPU)准备和储存其计划的文件,然后可以重新装载这类计划文件(有新的资料)。--loadEngine参数的trtexec）并在各个目标（DLA0、DLA1、GPU提供了许多推理练习,这种分两步走的方法减少了系统资源在建设阶段的超额订阅,同时使建筑商能够着手执行排定的文件。

高温核心的哪一层加速了?

多数数学结合将加速由高柱核心加速-体积、反体积、完整连接和矩阵倍增。 然而,在某些情况下,特别是在处理大量小型走廊或群落大小时,另一个实现速度可能更快,而且可能超过体积核心。

14.2.Understanding Error Messages

TensorRT 给出一个错误信息, 以便在出现执行错误时帮助解决问题。 下一节讨论开发者可能面临的一些常见的不准确问题 。

UFF 解析器的错误消息

下表捕获了常见的 UFF 解析器的错误消息。

Error Message Description

This error message can occur due to incorrect input dimensions. In UFF, input dimensions should always be specified with the implicit batch dimensionnotincluded in the specification.

As indicated by the error message, the axis must be a build-time constant in order for UFF to parse the node correctly.

XTw.com.Cn系统网专业应用软件下载教程，免费windows10系统,win11,办公软件,OA办公系统,OA软件,办公自动化软件,开源系统,移动办公软件等信息，解决一体化的办公方案。