顶会卷到中学:人大附中吴悠上榜 NeurIPS,入选高中赛道 Spotlight

NeurIPS 2024 放榜,人大附中有高中生一作入选

今年,NeurIPS 率先把 AI 顶会卷到了高中里,正式面向高中生征集论文,还为此专门设置了高中生赛道(High School Projects Track)

现在结果终于出炉,北京大学计算机学院的张铭教授分享了一则入围消息:

人大附中吴悠,有一篇一作论文入选该赛道,还被选为了 Spotlight Project。

论文题为《Vision-Braille:An End-to-End Tool for Chinese Braille Image-to-Text Translation》,提出了一种中文盲文图像到文本的端到端翻译工具

据张铭教授介绍,吴悠在 2022 年高一加入她的课题组时,就提出了这个项目的想法。

端到端中文盲文图像到文本翻译工具

具体来说,该项目基于谷歌的 mT5 模型,采用 Curriculum Learning(课程学习)方法微调出了一个盲文翻译模型。

其中的难点主要包括几个方面:

  • 缺少数据集:中文盲文翻译数据集非常稀缺,数据的采集也比较困难,需要耗费大量人力。

  • 盲文数据的特殊性:盲文通过最多三个单元格来表示每个汉字的发音,即声母、韵母和音调。但在实际使用中,盲文使用者通常会省略大部分声调符号,这给盲文翻译带来了挑战。

  • 同音字混淆:中文中存在大量同音字,并且由于声调符号经常被省略,同音字的区分变得更加困难。

为此,论文作者们首先构建了一组中文-盲文数据集,包括 Chinese-Braille-Full-Tone、Chinese-Braille-No-Tone 和 Chinese-Braille-10per-Tone。

作者从莱比锡数据集中收集了 100 万个不同的中文句子,使用中文盲文在线平台提供的工具,将收集到的中文句子转换为“全音”盲文。

而后,为了模拟真实世界中盲文使用者省略声调的情况,作者识别出这些盲文中代表声调的部分,并随机去除了其中 90% 的声调,创建 Chinese-Braille-10per-Tone 以反映现实世界中中文盲文的使用情况。

数据按照 8:1:1 的比例被划分为训练集、验证集和测试集。

训练方法方面,作者使用 RetinaNet 来执行盲文 OCR 任务,将盲文图像转换为数字盲文字符。

接着,采用课程学习策略 —— 即从简单到复杂地安排训练任务,分三个阶段微调了多语言 Transformer 模型 mT5:

  • 第一阶段:使用 Chinese-Braille-Full-Tone 数据集作为训练的简单部分,让模型学习基本的翻译规则。这个数据集中的盲文包含完整的声调信息。

  • 第二阶段:使用 Chinese-Braille-No-Tone 数据集,让模型在没有声调信息的情况下,学会根据上下文猜测正确的中文字符。

  • 第三阶段:使用 Chinese-Braille-10per-Tone 数据集,让模型更好地适应实际应用场景。

实验结果显示,在验证集和测试集上,该模型的 BLEU 得分分别达到了 62.4 和 62.3,显著提高了盲文翻译的准确度。

论文作者已经放出了项目 Demo,效果是酱婶的,感兴趣的小伙伴们可以戳文末链接自行测试:

(正确答案:不过,对于自己外向的性格,埃托奥说,“这就是真实的我,我不会为此改变”。)

该项目是在吴悠高三时完成。张铭教授透露,他目前已进入康奈尔大学就读计算机和生物医药工程专业。

论文致谢中提到,吴悠主要是在张铭教授博士生、论文第二作者袁野的指导下完成了这项研究。

张铭,北京大学计算机学院教授,博士生导师,研究领域包括文本挖掘、知识图谱、图神经网络和计算机教育研究等。她合作发表的科研学术论文曾获 ICML 2014 最佳论文、ICDM 2022 最佳论文提名等荣誉。Google Scholar 显示,她的论文引用量接近 2 万,h 指数为 48。

NeurIPS 高中生赛道

NeurIPS 是今年刚设的“高中生赛道”,主要征集“机器学习的社会影响”方向的论文。

公告是这样写的:

提交项目必须说明完全由高中生作者独立完成的工作。希望每个提交的项目都能突出显示积极的社会影响,或者使用机器学习产生积极社会影响的潜力。

详细来说,就是允许高中生们找外部导师来合作完成项目,但必须把导师以及合作者的贡献,和高中生作者的贡献区分开来。

公告中还规定了,作者需要提交高中在读证明,所有补充材料均应完全由作者完成,包括视频、Demo、海报、网站或源代码。

值得一提的是,其他顶会也有积极接触和影响高中生的趋势。

比如,CVPR 的做法是和高中合作,开展 CV 领域的专业讲座等课外活动。

  • 论文地址:https://arxiv.org/abs/2407.06048

  • Demo 地址:https://vision-braille.com/

本文来自微信公众号:量子位(ID:QbitAI),作者:鱼羊,原标题《人大附高中生中 NeurIPS,入选高中赛道 Spotlight,顶会真卷到中学了》

Published by

风君子

独自遨游何稽首 揭天掀地慰生平