CloudSoftwareHardware
Luxonis Hub
Luxonis HubAI
Legacy

ON THIS PAGE

  • HubAI
  • 简洁
  • 模型
  • Variant
  • 版本
  • 实例
  • 模型文件
  • Model Card

HubAI

简洁

HubAI 是一个预训练模型的精选集, 可部署在OAK的生态系统中.

模型

模型是HubAI的基本单元, 它包括:
  • Model File(s) - 模型文件和NN存档文件(如果模型文件和JSON元数据一起打包)
  • Model Card - 模型的全面描述.
模型可以是 公有 或 私有 (团队所有), 并且可以自由地 上传 到集合或从集合中 下载 . 详请请参考 上传/下载 指南.每个模型文件都构成一个独立的 Variant, 其特征在于训练配置和使用文本. 为了支持在已经部署的应用程序中进行高效的模型开发和精确应用, 我们将模型文件构建为三个嵌套级别, 此结构可帮助您:
  • 跟踪模型的变化
  • 区分不同的语义模型,
  • 通过适当的标识符引用正确的工件.
每个嵌套级别 — 变体, 版本, 和 实例 — 都有自己的唯一ID, 可以在DepthAI管道中使用该ID从HubAI获取相应的模型.下图说明了层次结构:
Markdown
1├── Variant 1
2|   ├── Version 1
3|   |   ├── Instance 1
4|   |   └── Instance 2
5|   └── Version 2
6|       ├── Instance 1
7|       └── Instance 2
8├── Variant 2
9...

Variant

变体(Variant) 是模型的特定版本, 通常通过输入分辨率 (例如 224x224), 用于训练的数据集 (流 COCO), 或模型架构中的一些较小变化来区分. 每个变体都与一个 Variant ID相关联.

版本

每个模型变体可以有多个版本. 从语义上来说, 这可以被用于跟踪您正在开发的模型的不同权重. 您可以有一个原始版本, 一个经过微调的版本, 以及一个例如用于生产的版本. 每一个版本都有它自己的 Version ID.

实例

实例是一个经过编译的, 面向平台的变体的版本 — 部署到硬件的实际项目. 转换到特定平台的实例的有关信息请参阅 Conversion 指南每个实例都由一个唯一的 Instance ID 指向特定平台导出, 而不是通用模型变体/版本. 因此, 在将实例集成到管道(Pipeline)时, 确保实例ID与你部署环境的正确平台相对应.

模型文件

模型文件 (也成为模型可执行文件 model executable(s)) 是独立的或打包到 NN存档中. 模型文件必须是 ONNX (.onnx), OpenVINO IR (.xml and .bin), 或 TensorFlow Lite (.tflite) 或 RVC compiled 格式中的一种.

Model Card

Model Card 是有关模型的信息的集合.你可以为私有模型选择自己的结构. 对于公有模型, 我们建议以下结构 (请查阅 Model Card Template ):
Markdown
1# Model Details
2
3## Model Description
4... Description of the model functionality.
5
6- Developed By - Name of the model developer(s).
7- Shared By - Source of the model file/weights.
8- Model Type - General model type (e.g. computer vision).
9- License - Link to the license that governs the use/distribution of the model.
10- Resources - Link(s) to the model resouces (e.g. paper, sourecode, etc.)
11
12# Training Details
13
14## Training Data
15... Describe and link to the data used to train the model.
16
17# Testing Details
18
19## Metrics
20... Describe and report the metrics used to validate the model.
21
22# Technical Specifications
23
24## Input/Output Details
25... Name and a short description for each input/output tensor.
26
27## Model Architecture
28... Describe the model architecture (e.g. backbone, head, etc.).
29
30## Throughput
31... Report model throughput on RVC platform(s) for which the model is converted.
32
33## Quantization
34... Describe quantization data if quantization is used during conversion.
35
36# Utilization
37... Explain how to utilize the model in a DepthAI pipeline. Ideally provide or link to an example.