返回顶部
返回首页
返回首页
今天是    | 政策法规 | 行业应用 |
home 您现在的位置: 首页 >配件与设备 >品牌库 > 详细信息
一种可以学习各种有效对话表示的自监督模型
2022年06月19日    阅读量:1176     新闻来源:好力百信息网    |  投稿

人工智能(AI)和机器学习技术已被证明非常有希望完成许多任务,包括那些涉及处理和生成语言的任务。与语言相关的机器学习模型能够创建与人类交互和对话的系统,包括聊天机器人、智能助理和智能扬声器。

为了处理面向对话的任务,语言模型应该能够学习高质量的对话表示。这些表述总结了双方就特定主题以及这些对话的结构所表达的不同观点。

西北大学和AWS人工智能实验室的研究人员最近开发了一种自我监督学习模型,可以学习不同类型对话的有效对话表示。该模型在arXiv上预先发布的一篇论文中介绍,可用于使用有限的训练数据开发更通用、性能更好的对话系统。

“我们引入了对话句子嵌入(DSE),这是一种自我监督的对比学习方法,可以学习适用于各种对话任务的有效对话表征,”周志涵、张德娇、肖伟、尼古拉斯·丁沃尔、马晓飞、安德鲁·阿诺德和Bing Xiang在论文中写道。“DSE通过将同一对话中的连续话语作为积极对进行对比学习,从对话中学习。”

DSE是周和他的同事开发的自我监督学习模型,它从以前专注于对话模型的研究工作中获得了灵感。由于对话本质上是相互语义相关的连续句子或话语,该团队开发了一个模型,通过在同一对话中配对连续话语来学习对话表示。

通过一种称为对比学习的方法,这些对被用来训练模型。对比学习是一种自我监督的学习技术,它使用输入数据的扩充来设计几个相似的数据表示。

研究人员在论文中解释道:“尽管DSE很简单,但它比其他对话表示和通用句子表示模型具有更好的表示能力。”。

周和他的同事评估了他们的模型在五个不同对话任务上的表现,每个任务都侧重于对话表示的不同语义方面。然后,他们将该模型的性能与其他现有方法(包括TOD-BERT和SimCSE模型)进行了比较。

研究人员在论文中写道:“在少数放炮和零放炮设置下的实验表明,DSE的性能大大优于基线。”。“例如,它在6个数据集的单发意图分类中,与最强的无监督基线相比,平均性能提高了13%。”

在最初的测试中,学习对话表征的新模型取得了显著的性能。未来,它可以用来提高聊天机器人和其他对话系统的性能。

在论文中,周和他的同事还概述了他们的模型的局限性和潜在应用。未来的工作可以继续完善其方法,以克服其一些缺点。

研究人员补充道:“我们相信DSE可以作为对话表示模型(例如,文本编码器)的替代品,用于广泛的对话系统。”。

漏 2022科学X网络

标签:行业资讯机器人新能源汽车 配件与设备 配件与装备系统及软件
免责声明: 本文仅代表作者本人观点,与本网无关。本网对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。本网转载自其它媒体的信息,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。客服邮箱:service@cnso360.com | 客服QQ:23341571

全站地图

深圳网络警察报警平台 深圳网络警
察报警平台

公共信息安全网络监察 公共信息安
全网络监察

经营性网站备案信息 经营性网站
备案信息

中国互联网举报中心 中国互联网
举报中心

中国文明网传播文明 中国文明网
传播文明

深圳市市场监督管理局企业主体身份公示 工商网监
电子标识