《大模型基准测试体系研究报告（2024年）》由中国信息通信研究院人工智能研究所发布，深入分析了大模型基准测试的发展现状、存在问题和未来趋势。报告指出，大模型作为推动人工智能技术发展的关键因素，其能力评估已成为学术界和产业界关注的焦点。基准测试通过设计合理的任务、数据集和指标，对大模型技术水平进行定量评价，对指引学术研究、指导产品选型、支撑行业应用和辅助监管治理具有重要意义。

报告首先概述了大模型基准测试的重要性和发展情况，分析了评测数据集、体系和方法，并提出了当前基准测试面临的挑战，如规范化评测体系的缺失、面向产业应用的基准不足、模型安全能力评估的难题等。为应对这些挑战，报告提出了“方升”大模型基准测试体系框架，该框架包含指标体系、测试方法、测试数据集和测试工具等关键要素，旨在全面评估大模型的行业能力、应用能力和安全能力。

“方升”测试体系特别强调了自适应动态测试方法，通过测试数据的标签化管理、动态测试数据库和高质量测试数据抽样算法，提高评测的公正性、科学性和效率。报告还介绍了“方升”测试体系的实际应用情况，包括首轮试评测的模式和结果，展示了不同大模型的性能和能力。

最后，报告对大模型基准测试的未来发展趋势进行了展望，包括面向产业应用的评测体系建设、超自动化测试平台的构建，以及对AGI等先进人工智能评测技术的探索。报告呼吁产学研各界紧密合作，共同推动大模型基准测试标准建设，促进大模型行业的健康有序发展。

来源：中国信通院