T/SAITA 001-2023 自然语言处理系统测评规范.pdf
文档页数：29文档大小：1.61MB文档格式：pdfICS35.080 CCS L77 T/SAITA 团体标准 T/SAITA001—2023 自然语言处理系统测评规范 Specification for natural language processing system test and evaluation 2023-12-18发布 2023-12-20实施 上海市人工智能技术协会发布 T/SAITA001—2023 目 次 前言 III 引言 1范围.... 1 2规范性引用文件. 3术语和定义 1 4符号和缩略语..... 5自然语言处理系统的基本框架 6自然语言处理系统测评指标 3 6.1概述.. 3 6.2功能有效性........ 4 6.3性能. 6 6.4兼容性.... 6 6.5可维护性...... 6 6.6可迁移性.......... 6 6.7数据集的质量.. 2 6.8对抗性样本的影响..... 7 6.9鲁棒性.. 7 6.10可解释性.. 7 6.11安全性.... 8 7自然语言处理系统测评流程 8 7.1确定系统质量目标. 8 7.2构建测试数据集. 9 7.3构建测试环境.9 7.4选择测试指标..... 9 7.5开展测试活动.... 9 7.6统计、汇总并分析测试结果， 9 8自然语言处理系统测试方法 9 8.1准备测试数据集.... 9 8.2功能有效性.9 8.3性能. ..10 8.4兼容性....... ...10 8.5可维护性.... 8.6可迁移性. ..........11 8.7数据集的质量....... ..11 8.8对抗性样本的影响... ....12 8.9鲁棒性.. ..12 8.10可解释性.. ..13 8.11安全性. ......13 附录A(规范性)自然语言处理系统功能有效性评估指标计算方法.............15 I T/SA1TA001—2023 A.1自然语言理解功能有效性评估指标计算方法15 A.2自然语言生成功能有效性评估指标计算方法 ..16 附录B(资料性)数据集 附录C(资料性)自然语言处理系统评价指南22 参考文献23 II ...
本文来自把廉价藏起投稿，不代表文丁图集立场，如若转载，请注明出处：https://www.2b34.com/blog/127825.html
微信扫一扫 
