深度学习浪潮下的自然语言处理百度NeurIPS2019展现领域新突破

雷锋网(公众号:雷锋网) AI 科技评论按:2019 年 12 月8 日-14 日,机器学习领域国际顶级会议 NeurIPS 2019于加拿大温哥华拉开帷幕。此次大会共吸引了全球1万余名专家学者共赴盛会。本年度,自然语言处理领域在深度学习浪潮下取得了显著成就,成为大会重要议题之一。

百度举办了自然语言处理专题研讨会,百度技术委员会主席、自然语言处理首席科学家吴华博士以及多名研究员和工程师,向现场参会者全面介绍了百度在这一领域的长期积累与全新突破。基于具有完全自主知识产权的飞桨平台,百度自然语言处理在语义计算、阅读理解、多轮对话、机器翻译、开放平台与数据等方向均取得了突破性进展,并进行了大规模产业化应用。雷锋网。

从专题研讨、论文分享、竞赛报告到多样的现场系统演示,百度在今年的NeurIPS 2019上深度参与,全面展现了百度的前沿技术进展。以百度为代表的中国AI企业的频频身影,已成为国际人工智能学术顶会中的“新常态”。

论文方面,本届会议计收到6743篇论文投稿,两年时间翻了一番,再次创下新纪录。其中1428篇论文入选,入选率仅21.1%。百度共有8篇论文被收录,覆盖量化压缩、对抗训练等诸多前沿方向。

他所在的口腔科每天限号看60位病人,否则医务人员忙得下不了班。从其他城区过来看病的患者超过五成。

曾汉桥副主任医师从事临床工作20余年,从武汉科技大学医学院毕业后就在该中心工作,他还是中华口腔医学会会员,擅长牙体牙髓病诊治,尤其对疑难阻生牙的微创拔除有独到之处。

近日,市民王女士打消了上三甲医院拔牙的念头,来到硚口区荣华街社区卫生服务中心,因为她无意中看到了“小红书”上一个热门帖文,有网友介绍了其在该中心曾汉桥医生处拔牙的愉快经历,手术“快、准、稳”,术后完全没有不适感。

对话方面,提出了基于深度注意网络的多轮响应选择匹配模型 DAM(Deep Attention Matching Network),显著提高了口语理解能力。 在对话系统框架中,百度一方面提供了可编程的对话管理框架,并内置了多个常用标准对话范式,为在云端开发灵活可变的业务对话逻辑提供了便利。另一方面,提供了需求分发和全局记忆机制,支持多个对话任务的集成与联动,提高了对话技能的可复用性,降低了新业务的重复开发成本。 百度可定制对话技术依托百度大脑 UNIT 3.0 平台,支持 5 万多个对话技能,广泛应用于行业客户。

记者黄琪 通讯员陈莉 邓盛强

这些无不显示着百度在NLP领域的技术积累与国际影响力。除了密集的学术交流讨论、报告之外,NeurIPS 2019的百度展台,也吸引了世界各地的参会者。深度学习平台飞桨获得广泛关注,众多参会者到展台咨询使用及合作事宜;百度AI同传吸引了来自美国、俄罗斯、日本、加拿大等世界各国的参与者们纷纷体验。

被列为非物质文化遗产

“程氏正骨术”传承人程浩(右)接受父亲(中)的指导采访对象本人供图

程浩看过X光片后说:“不用手术,手法复位就能好!”1分钟后,程浩对小朋友的手臂完成了手法复位,然后敷上自家研制的膏药。半个月后,小朋友来复查,手臂功能已恢复。

2016年开始,荣华中心口腔科为硚口区数千名适龄学生进行窝沟封闭(防治龋齿的一种方法)。在曾汉桥的推动下,2018年起,这项公益事业被纳入硚口区政府十件实事。曾汉桥成为硚口区小学生家庭家喻户晓的“曾叔叔”。

这些“网红医生”,均来自武汉市的各大基层特色科室。记者从武汉市卫生健康委基层卫生与老龄健康处了解到,武汉市已建成40家社区卫生服务中心(卫生院)特色科室,辐射能力不亚于三甲医院的专科。已建成的特色科室,以中医康复科、儿科、内科等百姓需求大的专科“打头阵”,数量最多。对于特色科室,市、区给予专项资金支持,用于加强设施建设,引进医护人才。

今年,武汉市在40个特色科室基础上,再建22个贫困乡镇卫生院特色科室,今年底将验收。武汉市卫健委相关负责人说,建好特色科室有利于推进分级诊疗制度,让老百姓的一般健康问题在家门口得以解决。

雷锋网原创文章,。详情见转载须知。

百度技术委员会主席、自然语言处理首席科学家吴华

机器阅读理解,已成为评估机器语言理解能力的重要方式,也是搜索引擎和对话系统等行业应用中的关键技术。百度建设及发布了最大规模的中文阅读理解数据集DuReader;在泛化方面提出训练框架D-NET,从多模型融合、多任务学习的角度提升模型的泛化能力;

近日,武汉市东西湖区走马岭街中心卫生院的医生阮晶在飞机上用小针刀救人的事迹传遍网络,众多网友点赞她医德高尚、救死扶伤。记者走访发现,在武汉的各大社区卫生服务中心、乡镇卫生院,“藏”着不少“网红医生”,线上、线下“粉丝”不少。他们通常有一门“拿手绝活”,5秒拔牙、徒手正骨,不仅周边居民信得过他们,还有不少病人远道来求医。

“拔这颗牙我只要5秒钟

去年,该中心儿科就诊量达10万人次,超过了许多三甲医院儿科就诊量。

50岁的黄先生近日肩关节脱位,到新洲区仓埠中心卫生院请程浩大夫帮他治疗。外展、牵拉、内收,在两位医生的协助下,程浩用这几个动作帮黄先生复位了肩关节。程浩是新洲“程氏正骨术”第九代传承人,手法复位堪称一绝。程浩家从爷爷辈开始三代从医,“程氏正骨术”2017年被列为武汉市非物质文化遗产。武汉市内各城区,以及红安、麻城等地的患者都慕名前来。

一年吸引10万人次就诊

百度自然语言处理领域产出的卓越成果背后所运用的底层框架,是自研的开源深度学习平台百度飞桨。近两年来,飞桨围绕深度学习框架的基本功能、性能、芯片支持的完备性等技术指标进行了一系列的易用性开发和性能迭代,为开发者提供了优于其他深度学习框架的使用体验。在开发能力方面,飞桨除了支持对常用API的调用之外,还在编程范式上同时支持声明式编程和命令式编程,兼具很好的灵活性和稳定性,可满足不同开发者的开发习惯,更易上手。在训练方面,飞桨平台突破了超大规模深度学习模型训练技术,研制了千亿特征、万亿参数、数百节点的开源大规模训练平台,实现了万亿规模参数深度学习模型的实时更新。在自然语言处理领域,PADDLE-NLP提供了面向6类任务下的30+算法模型,包括上述工作中ERNIE、D-NET等多个国际竞赛的冠军模型。

程浩在工作中常遇到婴幼儿手腕处桡骨脱位的病例,经过拍片如果没有大问题,程浩数秒钟就能将婴幼儿脱位的桡骨给“接上”。

近日,家住仓埠街的陈女士带6岁的儿子来到该卫生院,两日前小朋友在小区广场上骑滑板车摔伤上肢肱骨,去大医院检查后医生表示要进行手术治疗。陈女士担心孩子受罪,带着X光片找到程浩,寻求中医保守治疗。

曾汉桥医生 记者苗剑 摄

预训练方面,百度提出知识增强的语义表示模型 ERNIE及持续学习语义理解框架 ERNIE 2.0,在共计 16 个中英文任务上超越 BERT、XLNET,取得了 SOTA 的效果。11月,百度发布基于ERNIE的语义理解开发套件。从原理、应用到开源及平台化,百度在NLP预训练领域进行了极具价值的创新及实践。

对于对抗样本的攻击,提出了一种面向阅读理解的对抗训练方法;提出文本表示和知识表示的融合模型KT-NET,以解决需要外部知识和常识的问题。其中具有高鲁棒性和迁移能力的阅读理解模型在今年MRQA 阅读理解评测中夺得冠军。

徐章珍看病还非常“过细”。一次,一名小宝宝上吐下泻被送来中心,经检查是轮状病毒作祟,“孩子还拉了一次血便”,宝妈的这句话引起了徐章珍的重视,她赶紧将孩子转诊到武汉儿童医院,经检查孩子患“肠套叠”,需要手术治疗。

作为基层医生,徐章珍尽可能用小处方解决问题。附近开餐馆的曾老板家的“小毛毛”出生没多久得了风寒,新生儿吃药打针很困难,徐章珍开了药方“葱乳饮”,即用煮了小葱的水去泡牛奶,可适用于病毒性感冒。连服两三天后,孩子的感冒症状缓解。

“小帆,哪里不舒服啊?”11日下午,男童小帆被家人带到青山区新沟桥街社区卫生服务中心,让他熟悉的徐奶奶瞧一瞧。“徐奶奶”名为徐章珍,是该中心的儿科医生,毕业于湖北中医药大学,坐诊看病20余年,周边许多小孩是她看着长大的。

机器翻译领域,百度相继提出了多任务学习、多智能体联合训练等前沿方法,并在2019年国际权威WMT评测中取得中英翻译第一。机器同声传译方面百度走在领域前沿,提出了首个具有预测和可控时延的同传模型,首个语义单元驱动的上下文同传模型,并研发了业内首个语音到语音的同传系统,为用户提供高质量、低时延的同传体验。值得一提的是,基于在此领域取得的进步,由百度主导,联合Google、Facebook、Upenn、清华等海内外顶尖企业及高校共同组织首届机器同传研讨会,将在本领域顶级会议ACL 2020召开,并将举办国际首届同传评测,以进一步促进技术发展。此外,百度还将在领域权威会议EMNLP 2020中举办机器同传tutorial,就机器同传的原理、方法、前沿进展进行讲座。

王女士左上的智齿是一颗垂直生智齿,位置比较正。“拔你这颗牙我最多只要5秒钟,多一秒都不收钱!”曾汉桥风趣幽默地说。只见他转动手中的工具,王女士还没反应过来,这颗牙就被卸下,曾汉桥熟练地塞入一团棉花,血被止住了。