曾伟鸿:促进大语言模型的未来发展

尽管大语言模型取得令人瞩目的成就,但其可持续发展令人担忧。前沿人工智能研究中心的科研人员正探寻可持续的下一代大语言模型,减少碳足迹的方案。未来几年,实用的应用将不断扩大,但人们对隐私保护、个性化体验和可持续发展的担忧也会增加。我们希望政府在人工智能策略和研发方面的努力,有助于应对这些问题。

ChatGPT只推出一年,就已经显著改变人们工作、创造和沟通的方式。它和其他大语言模型工具,在帮助人们理解什么是生成式人工智能(Generative AI)方面发挥了重要作用。生成式人工智能是通过学习输入数据的模式和结构,使用算法生成或创建新的内容。

ChatGPT的开发商OpenAI说,它的用户群不断扩大,每周活跃用户超过1亿,是有史以来增长最快的消费应用。人们肯定会对生成式人工智能的巨大潜能感兴趣。据报道,科技巨头微软已向OpenAI累计投资130亿美元并加入董事会,而谷歌则在电邮、文档等人们广泛使用的产品中,采用自家的生成式人工智能工具。

新加坡也在寻求开发和运用有效的人工智能方案,包括生成式人工智能和大语言模型工具。政府12月初宣布全国人工智能策略2.0,这是2019年全国人工智能策略的更新版,在各行各业、政府和科研领域推行重要的人工智能计划。该策略旨在通过社区、基础设施和环境等方面,推动人工智能的发展。同时,资讯通信媒体发展局宣布与全国人工智能核心(AISG)和新加坡科技研究局(A*STAR)合作,斥资7000万元推出全国多模态大语言模型计划,促进新加坡和本区域的人工智能创新,增强本地在人工智能研发方面的能力,及培养人工智能专才。

大语言模型至关重要,可为各行各业带来变革。金融专才可运用这种学习算法进行风险分析和加强欺诈检测。在数码经济领域,大语言模型也可编写代码,协助编程人员开发软件。

虽然大语言模型具有巨大潜能,极有可能被广泛使用,但在这之前,我们还得应对一些问题。具体来说,我们应增强大语言模型在专业领域的训练及数据保护措施。

兼顾大语言模型的隐私保护和个性化体验

隐私保护是使用大语言模型的主要问题。当用户输入详细资料或提出问题(也称为提示)时,大语言模型会收集机密信息。此外,许多大语言模型的设计人员通过用户提示,指导和完善大语言模型的能力,尤其是在生成结果方面。这意味着一些大语言模型可能会在无意间把用户输入的机密信息,存储在用于训练大语言模型的数据库,而这些信息随后可能会在回应其他用户提示时透露出去。

今年5月,三星电子发现一些员工上传机密代码后,禁止他们使用ChatGPT等工具。传输到这类平台的数据会存储在外部伺服器,难以检索和删除,而且可能会泄露给其他用户。

为了解决隐私保护问题,新科研属下的资讯通信研究院(I2R)一直致力于探寻隐私保护科技,让大语言模型在保护隐私的环境中,安全地处理机密数据。此外,新科研去年设立前沿人工智能研究中心,探寻如何在增强大语言模型个性化内容的同时,保障用户隐私。例如,研究中心的科研人员通过微调具有特定领域提示的大语言模型,以在回应相关问题的同时,对用户互动和提示进行匿名处理。

微调能以其他方式提高大语言模型的性能。当一家企业使用通用聊天机器人与客户互动时,“声音”可能显得不近人情或不能反映企业品牌。利用职员与客户沟通的实例训练聊天机器人,有助于确保语音精准到位。前沿人工智能研究中心的工作,涵盖探寻兼顾大语言模型个性化回应和隐私保护的方式。

个性化的大语言模型可促进教育发展

大语言模型为个性化体验带来巨大潜能。以教育应用为例,学生朗读时,往往需要教师一对一的及时反馈,这对大班教学极其困难。为了应对这个问题,教师可采用人工智能给学生做个别指导。

陈方玉博士和她的资讯通信研究院团队开发了人工智能辅导系统,协助学生自我学习。

教育科技公司CommonTown已在学校部署马来语和淡米尔语版本。英语和华语版本则衍生出商业产品nomopai,协助学生准备口试,及提升企业的销售培训。

学生朗读时,人工智能语音评估辅导系统会对他们的发音、语调和流畅程度进行检测和评分。该系统也会提供个性化反馈,协助学生改进演讲技巧,提高整体语言水平。教师也可使用人工智能系统的反馈,为学生量身定制教学策略和方案。

在全国人工智能核心与教育部主办的人工智能教育大挑战中,资讯通信研究院的科研人员设计多模态人工智能导师,指导孩童用母语(华语、马来语和淡米尔语)进行交流。它利用图片等视觉元素,激发刚上小学的学生对话。这些设计和研发有助于保持新加坡的语言多元化和双语优势。

下一个前沿领域:大语言模型的长期可持续发展

尽管大语言模型取得令人瞩目的成就,但可持续发展令人担忧。要让大语言模型通过大量训练参数保持精准,意味着数据中心和伺服器须消耗更多能源,进而增加碳排放。

前沿人工智能研究中心的科研人员正探寻可持续的下一代大语言模型,通过创新技术,开发在训练和部署阶段减少碳足迹的方案。例如减少训练模型所需数据,或在部署阶段采用性能良好且能源消耗极小的硬件,有效调整现有模型。

未来几年,生成式人工智能和大语言模型的科技,无疑将不断发展。实用的应用将不断扩大,但人们对隐私保护、个性化体验和可持续发展的担忧也会增加。我们希望政府在人工智能策略和研发方面的努力,有助于应对这些问题,让生成式人工智能和大语言模型,继续成为改变我们生活、工作和创造的工具。

作者是新科研前沿人工智能研究中心主任、教授

焦点出版译

“科学星语”栏目由《联合早报》与新加坡科技研究局合作于每月最后一周推出