本文目录一览：

...多家高校和腾讯优图推出多模态模型鲁棒性测试基准

智源研究院联合港科广、北邮、北大以及腾讯优图实验室推出了多模态鲁棒性基准（MMR-benchmark）和针对鲁棒性的评价指标。MMR benchmark 构建及评测指标 MMR-benchmark通过人工精心标注构建了300个正向问题和配对的300个带有误导性的负向问题，每个问题包含4个选项，且只有1个正确答案。

腾讯优图实验室联合厦门大学构建新评测基准MME，对12种开源多模态大语言模型（MLLM）进行全面评测，BLIP - 2和InstructBLIP在感知和认知两个总榜单中稳居前三。评测基准MME的特点MME具备四个显著特点。

以上两项成果由电院人工智能研究院杨小康团队与腾讯优图实验室紧密合作产出，算法成果可应用于远程身份认证、图像和视频鉴伪等多种场景，充分保障人脸作为身份验证的安全性需求。未来，该团队将继续致力于提升数字人的生成质量与生成效率，赋予数字人在数字空间的感知、交互及可信溯源能力，推动可信人工智能的进一步发展。

多模态大语言模型（MLLM）的兴起带来了革命性的能力提升，比如看图写作和看图写代码，但仅凭这些样例难以全面评估模型性能。为此，腾讯优图实验室与厦门大学共同构建了一个全面的评测基准MM，对现有12种开源MLLM模型进行了全面定量评测，并发布了16个排行榜，覆盖感知和认知能力。

鸟瞰图（BEV）检测：STD在BEV视角下同样达到SOTA性能，验证了其多视角检测的鲁棒性。

智谱：开源模型「GLM-5」在工具调用上超越「Claude Opus 1」，成本更低，并推出限时套餐降低AI编码工具使用门槛。腾讯、北京大学、清华大学等：联合提出「IC-Custom」框架，实现免微调、高质量、高灵活度的图像生成。

鲁棒性测试是什么意思?

鲁棒性，源自英文Robust，意指系统的强壮和健壮特性。它在工程技术中扮演着至关重要的角色，尤其是在异常和极端条件下确保系统能够稳定运行。例如，当我们评估计算机软件的鲁棒性时，考量的是它在面对输入错误、硬件故障、网络压力或恶意攻击时，是否能保持正常运行，避免出现崩溃的情况。

鲁棒性测试是评估一个系统在面对各种挑战时，其稳定性和功能性是否能够得到保障的过程。具体来说：定义：鲁棒性源自英文Robust，意指系统的强壮和健壮特性，确保系统在异常和极端条件下能够稳定运行。

鲁棒性指的是系统、软件或设备在面对各种干扰因素时，仍能保持其性能和质量的能力。鲁棒性测试通过模拟各种可能的异常情况，如数据错误、硬件故障、环境变化等，来验证这种能力。重要性：在现代复杂系统中，由于组件和功能的相互依赖，小故障可能导致系统瘫痪。

任务型对话中语言理解的鲁棒性测试

1、任务型对话中语言理解的鲁棒性测试 任务型对话是在垂直场景下，为了完成任务、满足用户需求的对话过程，如订票、查酒店等。在任务型对话系统中，自然语言理解（NLU）模块负责将用户输入转换为机器可理解的语义标签。然而，NLU模块的鲁棒性，即其在不同条件下的稳定性和可靠性，是评估对话系统性能的重要指标。

2、解读：用于衡量模型在实际应用中的资源利用效率，评估其是否适合大规模部署。

3、排行榜：可通过GLUE排行榜查看模型排名。SuperGLUE 2019 动机：由于许多模型在GLUE上的表现已超过人类水平，因此需要一个新的更具挑战性的评测库。评测数据集：包含8个语言理解任务，保留了GLUE中的两个难任务（RTE和WSC），并增加了BoolQ、CB、COPA、MultiRC、ReCoRD、WiC等新任务。

4、上下文信息易丢失，难以处理长对话中的状态跟踪。论文提出结合大型语言模型（LLMs）的上下文学习能力和业务逻辑的确定性执行，以解决上述问题。

5、前面写了对话系统中的SLU之领域 分类/意图识别 、 槽填充 、 上下文LU和结构化LU 以及 NLG ，DST是对话管理(DM)的一部分，而DM是任务型对话中至关重要的一部分。说个 非严格的对比 ：如果把对话系统比作计算机的话，SLU相当于输入，NLG相当于输出设备，而DM相当于CPU(运算器+控制器)。

6、该方法为资源受限环境下的高效LLM部署提供了新范式，实验结果验证了其在语言理解与生成任务中的鲁棒性。

鲁棒性如何判定

1、判定鲁棒性需综合考察系统在异常情况下鲁棒性测试的稳定性与可靠性鲁棒性测试，通过多维度评估确定其应对异常输入、环境变化、错误恢复及安全威胁的能力。具体判定方法如下鲁棒性测试：异常输入处理能力鲁棒系统需具备对异常输入的容错性鲁棒性测试，包括无效数据、错误数据或恶意输入。

2、判定方式鲁棒性通过参数摄动实验验证，例如改变控制系统增益或输入信号幅度，观察输出性能是否达标。

3、二者区别：鲁棒性即稳健性，外延和内涵不一样；稳定性只做本身特性的描述。二者定义：鲁棒性：一个具体的控制器 ，如果对一个模型族中的每个对象都能保证反馈系统内稳定，那么就称其为鲁棒稳定的。稳定性：指的是系统在某个稳定状态下受到较小的扰动后仍能回到原状态或另一个稳定状态。

静态应变测试分析系统

东华应变测试系统（以DH3815N静态应变测试系统为例）鲁棒性测试的安装步骤如下鲁棒性测试：安装准备硬件要求计算机需满足基础配置：CPU Pentium233以上鲁棒性测试，内存64M以上鲁棒性测试，硬盘剩余空间需大于100M。接口需具备USB口或232口（传统串口），以支持设备与计算机的通信连接。操作系统兼容性仅支持Windows 98或Windows 2000系统。

内置非易失内存，可进行99级数据存储及回放，方便野外工作。通过RS232接口与计算机连接，可进行数据采集、分析、处理。

主要测试应力应变，是一款比较老的仪器，现在东华的高速静态产品中主要是DH3820可以连续采样100HZ/通道，是东华在静态中的主打产品。

DH3818型应变仪不同细分型号的灵敏度参数存在差异，具体如下： DH3818Y静态应力应变测试分析系统灵敏度为0.01。 DH3818-3程控静态电阻应变仪应变片灵敏度系数设置范围为00～00。 基础款DH3818静态应变测试仪应变片灵敏度系数可在0～0区间自动修正。

应变测试设备的价格因型号、功能和品牌差异很大，从几千元到几十万元不等。