位置:编程技术网 > 架构设计 > 正文 >

2017vs2019,AI三年浮沉记

2019年12月03日 05:43来源:未知手机版

美容冠怎么样,初代奥特曼主题曲,我结中国版

[ 亿欧导读 ] 最近,“2017vs2019”成为热题。回顾过往,人工智能技术也是更迭换代,风云跌宕。 图片来自“123RF”

据Gartner发布的2017年《技术成熟度报告》显示,其中出现了8项新增技术成果,其中包括5G、人工通用智能、深度学习、深度强化学习、数字孪生、边缘计算、无服务器PaaS以及认知计算。

时移世易,2019年技术的创新和发展已经超出了我们的想象,据人工智能行业分析机构CBInsights发布的 《2019年AI趋势报告》 来看,人工智能正在以可见的速度渗透到各行各业中。

深度学习热度过后的“冷思考”

2017年,人们对深度学习的发展寄予了厚望,认为它将会产生最多的利润,众多资本涌入人工智能的各个领域,最好的例子就是AlphaGo的胜利。2017年5月,在中国乌镇围棋峰会上,AlphaGo与排名世界第一的世界围棋冠军柯洁对战,以3比0的总比分获胜。

到2017年底,超强版AlphaGo Zero完全不依赖于人类数据,在只知道比赛规则的情况下自我对弈,3天训练后就以100比0战胜了AlphaGo。

在棋类游戏中,围棋所包含的巨大的搜索空间(其状态数远远超过整个宇宙中的原子数)一直是机器学习未能攻克的难题,甚至一度被认为在近期内是不可能被AI解决的。AlphaGo的成功不仅让人们看到了强化学习和随机模拟技术(也称“蒙特卡罗”技术)的魅力,也让深度学习变得更加炙手可热。

冷静之余,人们认识到AlphaGo的算法更适用于大规模概率空间的智能搜索,其环境和状态都是可模拟的。DeepMind的创始人德米斯·哈萨比斯表示,对于那些环境难以模拟的决策问题(如自动驾驶),这些算法也无能为力。

NLP完成从量到质的跃迁

2017年是自然语言处理领域的重要一年,这一年的种种实践(Word2vec和 GloVe)证明:预训练词嵌入模型已经成为解决NLP问题的一类关键性工具。

举例来说,来自Facebook AI Research(简称 FAIR)实验室的fastText即提供包含294种语言的预训练向量,这无疑给整个技术社区带来了巨大的贡献与推动作用。尽管已经实现了一定进展,但这方面仍有大量工作需要完成,这个领域需要更好的预训练模型的出现。

2018年,谷歌发布了BERT,因其在问题答复到语言推理等不同任务上的卓越表现而引发关注。BERT是近期NLP(GPT、GPT2、ULMFiT 和 roBERTa)等模型中的一部分,这些模型的系统性能较之前有了很大改进,因此一些研究人员会称NLP正处于它的“高光时刻”。

谷歌充分利用了BERT的优越性并且将其加入到了 搜索引擎 中,这也从侧面说明了这些技术兼具了研究和商业价值。2018年11月24日,谷歌正式放出BERT官方代码和预训练模型,包括模型的TensorFlow实现、BERT-Base和BERT-Large预训练模型和TensorFlow代码。

同样,2018年6月,OpenAI发表论文首次介绍了自己的语言模型GPT。2019年年初,OpenAI宣布开发出了一个大型语言模型,可以生成合成文本,名为GPT-2。出于谨慎考虑,公司并没有公开GPT-2的所有代码,同时也是担心它可能被误用。

5月,OpenAI发布了一个3.5亿参数的版本,并宣布将与有限的合作伙伴共享7.62亿参数和15亿参数,同时他们也在研究针对恶意使用GPT-2的对策。这款被业内传为“最强假新闻生成器”的GPT-2 AI模型,从诞生开始就引起大量关注。

时隔半年,GPT-2的阶段性开放终于进入尾声。11月6日,OpenAI正式放出 GPT-2最后一个部分的完整代码——包含15亿参数的最大版本。

这两个预训练模型的开放解决了标注数据缺乏的问题,帮助NLP完成了从量的积累到质的飞跃的转变。

联邦学习的征途是星辰大海

本文地址:http://www.reviewcode.cn/jiagousheji/99865.html 转载请注明出处!

今日热点资讯