【BBC精选】如何让AI支持22种语言

印度外卖骑手的语言困境与AI翻译解决方案

维尼特·萨万特过去两年一直以摩托车配送员的身份穿梭在孟买的街道上。”在路上总是压力很大，尤其是在孟买这样的城市，”他说。但刚开始工作时，语言障碍是另一个难题。他的母语是马拉地语，英语水平”非常有限”。”我能听懂一些，但阅读很困难，”他解释道。

这给他的新工作带来了麻烦。他说：”一开始很困难。所有内容都是英文的，我能理解部分内容，但用马拉地语更自在。我过去常常请其他配送员帮忙理解该怎么做。”他的雇主Zepto承诺提供”印度最快的在线杂货配送”。因此，骑手难以理解配送说明显然不是理想状况。

为简化这一流程，一年前Zepto与Reverie语言技术公司合作，为其骑手引入了AI翻译服务。此后，配送员可以在Zepto应用程序上选择六种语言。”我不再需要猜测了，”萨万特说，”以前我需要花更多时间阅读，有时还会出错。现在如果客户写’按门铃’，我会收到马拉地语的指示。所以我不需要再询问或确认。一切都很清楚。”

印度复杂的语言生态

萨万特的困境很普遍。”印度有22种官方语言和数百种方言，”印度理工学院孟买分校教授、印度人工智能语言应用领域顶尖专家普什帕克·巴塔查里亚指出，”如果没有能理解和说这些语言的技术，数百万人将被排除在数字革命之外——特别是在教育、治理、医疗和银行业。”

随着ChatGPT等新型生成式AI系统的推出，这项任务变得更加紧迫。训练AI需要大量数据，如网页、书籍或视频记录。对于印地语和英语等广泛使用的语言来说，获取数据相对容易，但对其他语言则较为困难。

“创建印度语言模型的主要挑战是数据的可获得性。我说的是精炼数据。粗质量的数据是可用的。但这些数据质量不是很高，需要过滤，”巴塔查里亚教授说，”印度的问题是，对于许多印度语言，特别是部落和地区方言，这些数据根本不存在或没有数字化。”

技术公司的应对方案

Reverie语言技术公司正在为一系列印度公司部署其AI驱动的翻译技术。联合创始人维韦卡南达·帕尼表示，虽然翻译技术将使沟通更便捷，但存在”不太常见的方言被边缘化的风险”。

“挑战在于确保AI驱动的语言进步带来的惊人好处不会意外缩减人类语言的丰富多样性。”

印度AI语言项目Bhashini助力消除数字鸿沟

为应对语言技术挑战，Bhattacharyya教授参与了政府项目Bhashini，该项目致力于开发训练AI所需的高质量数据集。除数据集外，Bhashini还构建了22种语言的AI语言模型和翻译服务。这项始于2022年的宏大工程已取得显著进展——目前托管着350个AI语言模型，处理任务量超10亿次。超过50个中央政府部门和25个邦政府正在使用该平台，例如在多语言公共服务聊天机器人中应用，或将政府计划翻译为地方语言。

“Bhashini通过构建印度本土AI模型而非依赖全球平台，确保了印度语言文化的代表性，”数字印度Bhashini部门首席执行官Amitabh Nag表示。他预计未来两三年内，农村用户将能用母语通过语音交互获取政府服务、金融工具和信息系统。

这些本土化数据集有望为AI开发者提供工具，使其更易开发惠及全民的模型。目前设计处理医疗等复杂流程的AI程序仍具挑战性。孟买印度理工学院Koita数字健康中心副教授Kshitij Jadhav正在开发辅助戒烟的AI程序。他解释道，戒烟不同阶段需要差异化建议，通常需专业人员进行评估，但能提供多语言服务的从业者有限，因此希望用AI填补缺口。