VATEX-EVAL
收藏官方服务：
资源简介：
我们收集VATEX-EVAL和ActivityNet-FOIl数据集，以系统地评估现有指标。VATEX-EVAL实验表明，EMScore具有较高的人类相关性和较低的参考依赖性。ActivityNet-FOIL实验验证了EMScore可以有效识别 “幻觉” 字幕
We collected the VATEX-EVAL and ActivityNet-FOIL datasets to systematically evaluate existing evaluation metrics. Experiments on VATEX-EVAL demonstrate that EMScore exhibits strong human correlation and low reference dependence. Experiments on ActivityNet-FOIL verify that EMScore can effectively identify hallucinated captions.
提供机构：
OpenDataLab创建时间：
2023-02-13
搜集汇总
数据集介绍
背景与挑战
背景概述
VATEX-EVAL数据集由多所高校与企业联合发布于2022年，旨在系统评估视频字幕评价指标。实验表明，EMScore指标在该数据集上具有较高的人类相关性和较低的参考依赖性，并能有效识别视频字幕中的'幻觉'问题。
以上内容由遇见数据集搜集并总结生成
