metrum-ai/llm-perfdata
收藏官方服务：
资源简介：
这是一个收集了在不同硬件目标上流行的大型语言模型的吞吐量和延迟基准的数据集。它包含了模型的参数规模、精度、GPU类型、服务引擎等多种配置信息，以及与吞吐量和延迟相关的性能指标。数据集来源于公开的在线资源，可能会存在一定的误差或不一致性。
This dataset curates throughput and latency benchmarks for popular large language models across various hardware targets. It includes configuration details such as model parameter scales, precision, GPU types, serving engines, and performance metrics related to throughput and latency.
提供机构：
metrum-ai
