MMBench-DEV-RU

# MMBench-DEV-RU Это переведенный Dev сплит mmbench для оценки русскоязычных мультимодальных LLM. Перевод происходил при помощи gpt-4, часть вопросов была проверена ассесорами. В данной версии отсутствует малая часть вопросов оригинального бенчмарка. Ссылка на оригинальный бенчмарк: https://huggingface.co/spaces/opencompass/MMBench ## Скрипт для оценки качества https://github.com/Natyren/mmbench-ru-eval Файл, который вы собираетесь прогнать должен включать колонку gt ответа и предсказанного. Они должны называться соответсвенно "answer" и "predict"# MMBench-DEV-RU 本资源为经翻译后的MMBench开发子集，用于评估俄语多模态大语言模型（Large Language Model，LLM）。翻译工作依托GPT-4完成，部分问题已由评估专员核验。本版本暂未包含原始基准测试的全部问题，缺失少量原始题目。 原始基准测试链接：https://huggingface.co/spaces/opencompass/MMBench ## 质量评估脚本 https://github.com/Natyren/mmbench-ru-eval 待执行评估的文件需包含标准答案列与预测答案列，二者的列名需分别为"answer"与"predict"。

搜集汇总

背景与挑战

背景概述

MMBench-DEV-RU是MMBench基准的俄语翻译开发集，专用于评估俄语多模态大语言模型。该翻译由GPT-4完成并经过部分人工验证，但缺少原基准中的少量问题。