深度学习浪潮下的自然语言处理百度NeurIPS2019展现领域新突破

欧锦赛
jtsbbq.com

雷锋网(公众号:雷锋网) AI 科技评论按:2019 年 12 月8 日-14 日,机器学习领域国际顶级会议 NeurIPS 2019于加拿大温哥华拉开帷幕。此次大会共吸引了全球1万余名专家学者共赴盛会。本年度,自然语言处理领域在深度学习浪潮下取得了显著成就,成为大会重要议题之一。

百度举办了自然语言处理专题研讨会,百度技术委员会主席、自然语言处理首席科学家吴华博士以及多名研究员和工程师,向现场参会者全面介绍了百度在这一领域的长期积累与全新突破。基于具有完全自主知识产权的飞桨平台,百度自然语言处理在语义计算、阅读理解、多轮对话、机器翻译、开放平台与数据等方向均取得了突破性进展,并进行了大规模产业化应用。雷锋网。

《口袋学长团》作为一款创新模式的星粉互动节目,通过全渠道的沉浸式互动,让粉丝愉快体验了一次把学长装进口袋里的感觉。

这些无不显示着百度在NLP领域的技术积累与国际影响力。除了密集的学术交流讨论、报告之外,NeurIPS 2019的百度展台,也吸引了世界各地的参会者。深度学习平台飞桨获得广泛关注,众多参会者到展台咨询使用及合作事宜;百度AI同传吸引了来自美国、俄罗斯、日本、加拿大等世界各国的参与者们纷纷体验。

论文方面,本届会议计收到6743篇论文投稿,两年时间翻了一番,再次创下新纪录。其中1428篇论文入选,入选率仅21.1%。百度共有8篇论文被收录,覆盖量化压缩、对抗训练等诸多前沿方向。

《口袋学长团》学长积分排名

创新的内容形态和优质的内容塑造,以及OPPO内容生态对《口袋学长团》内容分发和玩法上的策略构思和有序执行,让《口袋学长团》开播至今收获了高达2.16亿总播放量的好成绩。

OPPO内容生态为了给用户打造更具有价值的内容,在互动模式上也是持续探索,星粉互动新模式通过“学分打榜”等互动玩法让用户和IP之间黏性更强。

机器翻译领域,百度相继提出了多任务学习、多智能体联合训练等前沿方法,并在2019年国际权威WMT评测中取得中英翻译第一。机器同声传译方面百度走在领域前沿,提出了首个具有预测和可控时延的同传模型,首个语义单元驱动的上下文同传模型,并研发了业内首个语音到语音的同传系统,为用户提供高质量、低时延的同传体验。值得一提的是,基于在此领域取得的进步,由百度主导,联合Google、Facebook、Upenn、清华等海内外顶尖企业及高校共同组织首届机器同传研讨会,将在本领域顶级会议ACL 2020召开,并将举办国际首届同传评测,以进一步促进技术发展。此外,百度还将在领域权威会议EMNLP 2020中举办机器同传tutorial,就机器同传的原理、方法、前沿进展进行讲座。

开发星粉互动新模式,“口袋学长团”IP价值引人期待

对于对抗样本的攻击,提出了一种面向阅读理解的对抗训练方法;提出文本表示和知识表示的融合模型KT-NET,以解决需要外部知识和常识的问题。其中具有高鲁棒性和迁移能力的阅读理解模型在今年MRQA 阅读理解评测中夺得冠军。

《口袋学长团》发布了丰富多样的课程,让观众通过轻松愉快的方式获得兴趣内容,并且近距离感受颜值与才华并存的“学长”偶像。从开播到结束,《口袋学长团》的学长们陪伴了用户1个多月的时间,他们有的是人气偶像,有的是素人学生,都因为《口袋学长团》被更多人所熟知。

据了解,学分是用户通过完成任务获得的奖励,可用于给学长加载学分榜、解锁学长卡牌等。学分榜在12月13日截止统计的排名前三,分别为李希侃学长,李天泽学长与高杨学长。而粉丝参与打榜的最终结果也引发粉丝关注,后续节目将如何运营也让我们持续关注。

百度自然语言处理领域产出的卓越成果背后所运用的底层框架,是自研的开源深度学习平台百度飞桨。近两年来,飞桨围绕深度学习框架的基本功能、性能、芯片支持的完备性等技术指标进行了一系列的易用性开发和性能迭代,为开发者提供了优于其他深度学习框架的使用体验。在开发能力方面,飞桨除了支持对常用API的调用之外,还在编程范式上同时支持声明式编程和命令式编程,兼具很好的灵活性和稳定性,可满足不同开发者的开发习惯,更易上手。在训练方面,飞桨平台突破了超大规模深度学习模型训练技术,研制了千亿特征、万亿参数、数百节点的开源大规模训练平台,实现了万亿规模参数深度学习模型的实时更新。在自然语言处理领域,PADDLE-NLP提供了面向6类任务下的30+算法模型,包括上述工作中ERNIE、D-NET等多个国际竞赛的冠军模型。

而在IP深化挖掘方面,无论是团综还是利用品牌自身优势进行造星,相信《口袋学长团》能在未来呈现更多精彩,让我们一同期待。

3丨发改委发布政府定价的经营服务性收费目录清单

雷锋网原创文章,。详情见转载须知。

百度技术委员会主席、自然语言处理首席科学家吴华

4丨五连板威唐工业:近期未收到特斯拉重大订单

威唐工业连续5个交易日涨停,公司12月26日晚提示风险称,公司目前生产经营活动正常,公司已披露的市场环境、内外部生产经营环境未发生重大变化;公司近期未收到特斯拉重大订单,预计其现有业务不会对公司2019年经营业绩产生重大影响,对未来公司经营业绩的影响大小存在不确定性,敬请投资者注意风险。

《口袋学长团》学长限定暖秋穿搭

从专题研讨、论文分享、竞赛报告到多样的现场系统演示,百度在今年的NeurIPS 2019上深度参与,全面展现了百度的前沿技术进展。以百度为代表的中国AI企业的频频身影,已成为国际人工智能学术顶会中的“新常态”。

机器阅读理解,已成为评估机器语言理解能力的重要方式,也是搜索引擎和对话系统等行业应用中的关键技术。百度建设及发布了最大规模的中文阅读理解数据集DuReader;在泛化方面提出训练框架D-NET,从多模型融合、多任务学习的角度提升模型的泛化能力;

《口袋学长团》学长衬衫男神

OPPO内容生态跨场景分发与新颖玩法并重,收获2.16亿总播放量

对话方面,提出了基于深度注意网络的多轮响应选择匹配模型 DAM(Deep Attention Matching Network),显著提高了口语理解能力。 在对话系统框架中,百度一方面提供了可编程的对话管理框架,并内置了多个常用标准对话范式,为在云端开发灵活可变的业务对话逻辑提供了便利。另一方面,提供了需求分发和全局记忆机制,支持多个对话任务的集成与联动,提高了对话技能的可复用性,降低了新业务的重复开发成本。 百度可定制对话技术依托百度大脑 UNIT 3.0 平台,支持 5 万多个对话技能,广泛应用于行业客户。

《口袋学长团》养成式体验,OPPO创新年轻化内容新形态

《口袋学长团》授课学长在各个课程领域均有着一技之长,例如创造营2019选手王艺衡擅长舞蹈课程,声入人心高杨选手擅长音乐剧课程,李天泽学长拥有高超的钢琴技能。除此之外,还有手工课、时尚课、生活课、宠物知识科普等。

《口袋学长团》学长演绎校园运动季

发改委网站26日信息显示,发改委发布政府定价的经营服务性收费目录清单,目录清单将根据经营服务性收费改革进程实施动态调整。其中,银行卡刷卡交易发卡行服务费,借记卡不高于0.35%(单笔收费金额不超过13元),贷记卡不高于0.45%。

通过《口袋学长团》可以看到,OPPO内容生态不断创新年轻化内容新形态,以年轻用户视角创造内容产品,为打造优质内容贡献己力。

预训练方面,百度提出知识增强的语义表示模型 ERNIE及持续学习语义理解框架 ERNIE 2.0,在共计 16 个中英文任务上超越 BERT、XLNET,取得了 SOTA 的效果。11月,百度发布基于ERNIE的语义理解开发套件。从原理、应用到开源及平台化,百度在NLP预训练领域进行了极具价值的创新及实践。

在视频内容分发方面,OPPO内容生态不仅为《口袋学长团》打通了浏览器、软件商店、PUSH、乐划锁屏、主题商店等ColorOS系统级流量渠道,还在商业合作伙伴的APP中铺设分发渠道,为“学长”的精彩短视频内容提供了诸多强曝光路径。此外,OPPO内容生态还不断创新内容分发形式,如闪屏、浮窗、插屏、首页活动等,从而有效提升内容的转化率。

《口袋学长团》学长演绎撩人古风

《口袋学长团》学长李天泽卡牌主题

而在粉丝留存和social内容热度延续方面,OPPO内容生态也在不断开辟更新颖的玩法,从而促进内容的二次传播和内容热度的延续。截止12月30日,微博主话题#口袋学长团#阅读量已超3.3亿,微博主话题讨论量超200万。随着用户对《口袋学长团》内容的不断挖掘,更是衍生出了25个子话题,其中#娱乐圈会弹钢琴的男生#,#仡亲芳泽#,#丁飞俊生图杀手#等子话题更是成为粉丝热议的有趣内容。

Related Post