GemMaroc:摩洛哥语言革命:将达里贾语融入人工智能
摩洛哥刚刚启动了GemMaroc项目,在语言技术领域迈出了重要一步。GemMaroc是一项开创性的研究,名为“用最少的数据解锁法学硕士阶段的达里贾语能力”,旨在探索语言模型理解和生成摩洛哥方言达里贾语的能力。
这项由摩洛哥人工智能和语言学专家团队领导的计划,标志着将当地语言融入数字系统的真正革命。GemMaroc不仅仅是一个科学项目,更是在人工智能领域全球语言主导的背景下,展现出的技术解放。
这项研究的成果令人印象深刻:仅需两天的训练,研究人员就成功开发出一个能够利用有限数据资源,以惊人的精度理解和生成达里贾语的模型。
通过使用精心翻译和筛选的句子组成的小型语料库,研究团队观察到正确率从 33% 提升至 47% 以上,且模型的英语表达能力丝毫不受影响。最先进的模型 GemMaroc-27B 甚至在达里贾语理解测试中超越了多个国际模型。
这项研究强调了一个关键点:模型的成功并非取决于数据量,而是取决于数据的质量和多样性。研究人员倾向于选择反映摩洛哥生活的真实场景和日常对话——例如口头指示、流行表达和文化问题——以便模型能够融入当地语境的微妙之处。
另一项重大创新是创建了一种“结构化达里贾语”语言,旨在减少由方言多样性造成的“语言噪音”。这种方法使人工智能能够更一致、更准确地做出响应,为达里贾语教育、行政和数字工具的设计铺平了道路。
这项研究还强调了一个根本性的挑战:由于Darija语言本质上是口语,因此缺乏书写标准。为了解决这个问题,团队采用了一种混合方法,将阿拉伯语和拉丁字母的书写方式结合起来,以反映摩洛哥在互联网和社交媒体上的语言现实。
最后,为了保持模型的技能平衡,20%的训练文本保留了英语,以确保系统在数学、推理和语境理解方面的整体技能得以保留。
凭借GemMaroc,摩洛哥正在成为人工智能语言包容性的先驱,证明尖端技术可以适应当地语言,并将其转化为文化和社会创新的工具。这个项目预示着一个新时代的到来,Darija最终将进入机器语言领域,与世界主要语言平起平坐。
-
22:30
-
21:33
-
21:15
-
21:00
-
20:42
-
20:20
-
20:00
-
20:00
-
19:32
-
19:15
-
19:00
-
18:30
-
18:10
-
17:47
-
17:32
-
17:15
-
17:00
-
17:00
-
16:49
-
16:33
-
16:16
-
16:02
-
15:53
-
15:33
-
15:15
-
14:50
-
14:32
-
14:14
-
13:50
-
13:40
-
13:32
-
13:15
-
13:00
-
12:42
-
12:22
-
12:05
-
11:44
-
11:28
-
11:11
-
10:47
-
10:29
-
10:10
-
10:04
-
09:45
-
09:44
-
09:26
-
09:23
-
09:10
-
08:47
-
08:31
-
08:15