在金融规模的独到配景下，MME-Finance 将多模态大模子的智商紧密分离为三个头绪。最基础的头绪是视觉感知智商，它指模子索取和清爽图像中的视觉信息的智商，因此组成了多模态大模子的中枢与通用智商。基于该智商九游体育娱乐网，MME-Finance 想象了四类任务：图片提要、OCR (光学字符识别)、实体识别和空间感知。中间头绪则是逻辑推明智商，它代表了多模态大模子在金融规模进行数值盘算推算的智商。本基准中的计算任务包括精准数值盘算推算和推断数值盘算推算。两者之间的主要区别在于，推断数值盘算推算需要凭据图像中的位置干系等陈迹来预估数值，而非径直索取。最高头绪是复杂的领略决议智商，涵盖了风险教唆、投资提议、原因解释和金融常识问答四大任务。以下表格展示了每类任务的样本数目统计效果：

❍数据汇集历程

为了确保汇集的图片更迫临本色愚弄场景，MME-Finance 的整个图片均由专科标注东谈主员从主流金融 APP 中取得。这些图片被分为六大常见类型: K 线图、本领谋划图、表格、统计图、文档和夹杂图。为了丰富图片的作风，咱们针对交流内容，分别采集了四种不同作风的图片，包括电脑截图、手机拍照、手机竖屏截图和手机横屏截图。具体历程如下图所示:

当先，标注东谈主员通过电脑在 APP 中寻找相宜的金融图片，并进行截图。然后，他们使用手机拍摄并吞内容 (举例并吞家公司的 K 线图)，并分别进行竖屏和横屏的截屏。这一系列操作旨在保证图片作风的各样性。

各式图片类型及作风的数目如下图所示，图片类型中统计图的数目最多，夹杂图数目最少；图片作风中，电脑截图数目最多，手机竖屏截图数目最少。

❍问答对生成历程

为了生成高质地的图片问题对，咱们继承了一套鸠合 GPT-4o 与东谈主工审核的标注历程。具体历程如下图所示：当先，咱们将图片及生成问题的 prompt 输入 GPT-4o，以便其为每个任务生成相应的问题。这些生成的问题随后将经过东谈主工审核，不对适的问题会被剔除或修改。经过筛选后的图片问题对及生成谜底的 prompt，再次输入 GPT-4o，以取得初步的谜底。接着，这些谜底将由金融内行进行进一步的筛选和修正，最终酿成高质地的数据集。

❍评估格式

MME-Finance 的问题形势为通达类型，因此评估此类问题的谜底相较于遴荐题类型更具挑战性。为此，咱们想象了一整套历程，以提高评估的准确性。具体历程如下图所示：在模子推理过程中，咱们对模子输出的形势进行了一定的截止，以便于后续的评估责任。咱们继承大型模子进行评估，将问题、模子修起、程序谜底、图片以及评估 prompt 一并输入评估模子。评估 prompt 中包含了每类任务的评估程序及相应的评估示例，以进步模子的评估精度。最终评估模子输出预计得分九游体育娱乐网，评分鸿沟为六级，从低到高挨次为 0 至 5 分。经过执行考据，咱们发现 GPT-4o 算作评估器，具有最高的东谈主类一致性。