mikewang/imsitu
收藏资源简介：
imSitu是一个支持情境识别的数据集，旨在生成图像所描绘情境的简明摘要，包括：(1) 主要活动，(2) 参与的演员、对象、物质和位置，以及最重要的 (3) 这些参与者在活动中扮演的角色。imSitu使用的角色集源自语言学资源FrameNet，实体源自ImageNet。imSitu中的数据可用于创建稳健的情境识别算法。
imSitu is a dataset for situation recognition, aiming to generate concise summaries of the situations depicted in images, including: (1) the primary activity, (2) the participating actors, objects, substances and locations, and most importantly, (3) the roles these participants play in the activity. The role set used in imSitu is derived from the linguistic resource FrameNet, while the entities are sourced from ImageNet. The data in imSitu can be used to develop robust situation recognition algorithms.
数据集卡片 for imSitu
数据集描述
主页: http://imsitu.org/
仓库: https://github.com/my89/imSitu;
- 用于imSitu的元数据: https://github.com/my89/imSitu#metadata
- 图像下载指南: https://github.com/my89/imSitu#images
- 该HF数据集加载仓库中的
train.json,val.json和test.json
重要提示: 加载的HF数据集中的frames字段包含一系列json字符串（因为每个动词框架的数据结构不同）。要将json字符串转换回字典，可以参考以下示例:
python
from datasets import load_dataset
import json
dataset = load_dataset("mikewang/imsitu")
print(dataset[train][0])
frames = [json.loads(obj) for obj in dataset[train][0][frames]]
print(frames)
论文引用:
@inproceedings{yatskar2016, title={Situation Recognition: Visual Semantic Role Labeling for Image Understanding}, author={Yatskar, Mark and Zettlemoyer, Luke and Farhadi, Ali}, booktitle={Conference on Computer Vision and Pattern Recognition}, year={2016} }
数据集总结
imSitu是一个支持情景识别的数据集，旨在生成图像所描绘情景的简明摘要，包括：(1) 主要活动，(2) 参与的演员、物体、物质和地点，以及最重要的(3) 这些参与者在活动中的角色。imSitu使用的角色集源自语言资源FrameNet，实体源自ImageNet。imSitu的数据可用于创建健壮的情景识别算法。
