位置:编程技术网 > 云计算 > 正文 >

6位产学专家共话NLG:从大模型竞赛到多模态应用 CNCC 2021技术论坛

2021年09月21日 15:27来源:网络搜索手机版

咯咯咯的鬼太郎,戴润斋,中国人民

大规模预训练语言模型能否实现认知智能?

自GPT-3问世以来,关于这个问题的讨论从来没有停止,也一直没有定论。作为NLG领域的标杆模型,GPT-3在X-to-Text系列任务中表现极佳,文章写作、图表分析、聊天对话都能轻松实现。

NLG(Natural Language Generation)是自然语言处理领域的一个分支,区别于NLU,更侧重自然自然语言的表述过程,主要用于将文本、表格、图片或结构化数据,输出为一段准确且易于理解的文本描述。

近几年,NLG已经从幕后走向台前,成为了NLP领域的新宠。

GPT-3被看做是“暴力美学”的一次胜利,验证了”模型越大,性能越好“的逻辑,业界也普遍形成了一种炼大模型的竞赛趋势。虽然大规模预训练模型的NLG能力已经接近人类,但它仍存在一个“阿喀琉斯之踵”——缺乏常识。

如何解决这一问题,业界似乎也达成了共识:引入多模态。今年OpenAI和智源研究院相继推出的CLIP和悟道2.0,称得上是多模态在大规模预训模型中的应用典范,从图像-文本的生成能力突破了一个新高度。目前,阿里、百度、微软亚洲研究院等大型企业和科研机构早已开启多模态的研究。

毫无疑问,大模型+多模态+先验知识成为了NLG前沿探索的新方向。其实,从产业的角度来看,GPT-3等大模型性能虽佳,但仍“不识人间烟火”,因为计算资源过大,终端设备难部署,目前几乎没有重大的落地项目。

不过,这也并不影响NLG在产业方向如火如荼的落地趋势。从RNN、CNN到Tranformer,NLG已经基本解决了“语义不顺、语义不通、关联度不高”等问题,并在金融、媒体、电商等行业获得了大范围的应用。

Gartner预测,在未来20%的业务内容将通过使用自然语言生成的机器编写,其中法律文件、股东报告、新闻稿或案例研究将不再需要人类创建。当然,号称“最难落地”的NLG,现阶段仍在可控性、评价机制、结构化数据等方面存在不足,这也在一定程度上影响了它的应用场景。结合以上问题和现象,这几个问题非常值得探讨:

大规模预训练语言模型能否实现认知智能?

业界的大模型竞赛现象反映了什么问题?

多模态在NLG研究中究竟有多大潜力?

NLG模型的可控性与可解释性问题如何解决?

NLG产业应用所面临的主要难点是什么?

10月28-30日,计算机领域年度盛会CNCC 2021将在深圳召开,本届大会共开设了111个技术论坛,涉及32个研究方向,其中在NLP领域,大会开设了“自然语言生成前沿与产业应用”分论坛。

该论坛由北京大学王选计算机研究所教授万小军担任主席(作报告),中国人民大学高瓴人工智能学院长聘副教授宋睿华担任共同主席。

届时,清华大学计算机科学与技术系长聘副教授黄民烈,百度主任架构师肖欣延,字节跳动AI Lab高级研究员周浩以及微软亚洲研究院高级研究员/研究经理段楠等产学专家将发表主旨演讲,深入解读当前NLG技术前沿与产业发展。

在论坛开始之前,AI科技评论有幸采访了万小军教授以及产业界的三位分享嘉宾,与他们聊了聊关于本次论坛的情况和NLG的产学现状。

万小军,北京大学王选计算机研究所博士生导师,语言计算与互联网挖掘研究室负责人,在北京大学获得学士、硕士与博士学位。主攻自然语言处理研究,侧重自动文摘与文本生成、情感分析与语义计算、多语言与多模态NLP等方向。

本文地址:http://www.reviewcode.cn/yunjisuan/241125.html 转载请注明出处!

今日热点资讯