近日,来自俄罗斯、韩国、赞比亚等国家的11位外国留学生完成了一份特别的中文试卷,之所以称其特别,原因是这份中文试卷不是由老师批改,而是由AI进行评判。这批考生也成为了全球首批接受AI阅卷的学生。
200字作文寻出8处错误
考试前,老师给他们布置了一道作文题,名为“请写一写你的爱好”。半小时的写作时间结束后,就轮到AI工作了。不过AI也不是直接就能对试卷进行评判,首先还是得先将试卷扫描,将扫描图像转化成文字之后显示在电脑上,几十秒不到,就见AI在一篇200字不到的作文里寻得了8个错误。
(图片源自微博)
在这份作文里,我们可以看到,在“但中文的难点并非是字,而且像女朋友一样善变”这句话中,AI将Redundant(多词)标记在了“是”字下方,将Selection(错词)标记在了“而且”下方。此外,Missing(缺词)和Word Order(语序错误)等错误,也被AI逐一标记在了文中对应位置。
据了解,这款AI来自阿里巴巴,将AI应用到外国人学中文试卷批改上,也是全球首例。在拥有评阅试卷的能力之前,这款AI需先经历大量的中文语言体系学习,通过扫描仪扫描完卷面信息,使用OCR技术将其转换成文本之后,AI再通过自然语言处理算法对文章内容进行分析,并识别出错位类型和位置,最后批注在卷面上。从目前的测试情况来看,这款AI在准确率方面都接近甚至超越人类的水平。
AI阅卷是否靠谱?
通常,考试的试卷中都包含主观题和客观题两部分。其中,AI参与客观题的评判比较常见,客观题一般都有标准答案,将考生的答案和事先存储的标准答案进行比对,得出对错,这是极其简单的过程。
较高级的AI则可以在判断对错之后,对选项做出一定解释,让考生明白自己的选择对错及原因。除此之外,将所有考生的客观题答案集合起来,对每道题目的得分率、各选项选择率等进行综合分析,则是更为高级的AI,这就涉及到数据分析的层面。
目前,用AI来评判客观题正误的模式,已被大多数人认可,一方面提高了阅卷效率,另一方面保证了阅卷质量。那用AI来评判主观题的好坏,又将如何?