瞧一瞧:搜狗清华斩获NTCIR-STC2冠军,如何在检索生成两大任务中脱颖而出?
雷锋网 AI 科技评论:第十三届 NTCIR 评测比赛于近日正式公布了短文本对话任务(STC2)的赛果。本次比赛吸引了国内共有 11 家企业、29 所大学和研究所,包括 BAT 等企业,以及北京大学、中国人民大学等多所知名高校参与。搜狗搜索联合清华大学人工智能国家重点实验室组成的 SG01 战队首度参战,在 NTCIR13-STC2 评测比赛中以绝对优势排名第一。雷锋网 AI 科技评论第一时间联系了冠军团队,了解本次比赛的个中细节。
往期报道:搜狗搜索联合清华首战NTCIR13-STC2,以绝对优势排名第一
据雷锋网 AI 科技评论了解,SG01 的团队成员共 5 人,包括搜狗搜索研发部研究员赵海舟,杜毅,黎航宇,以及清华人工智能所的研究生钱桥和周昊。搜狗搜索总经理许静芳和清华大学朱小燕、黄民烈教授都对该团队进行了充分指导。
在分工上,清华人工智能所与搜狗合作进行生成模型的设计与验证,另外搜狗还负责检索模型研发、系统搭建以及评测的工作。「搜狗在搜索领域有着十分深厚的技术基础,而清华人工智能所在生成式对话领域也有着丰富的研究基础,二者刚好互补,」钱桥向雷锋网 AI 科技评论表示。
NTCIR Workshop 是一个针对信息访问(IA)技术(包括信息检索、问题回答、文本摘要、提取等)的评估比赛,经过十余年的发展,现在已经成为一项国际重要赛事。
在 2016 年,第十二届 NTCIR 中首次设置了基于中文、日文两种语料的评测新任务,即短文本对话任务(STC),这也是目前国际上唯一的开放域对话方面的评测比赛。
从语料上讲,一个对话系统可以分为两种,即任务域语料以及开放域语料。任务域是指其对话内容可以被某一任务领域的语料所涵盖,比如订餐,天气查询等等,其对话意图以及语言的复杂性比较可控;开放域是指其对话内容没有限制,可以是生活中的任意对话场景,其对话意图十分广泛,可以说涵盖所有对话意图,语言复杂性也很高。
雷锋网 AI 科技评论从官网获悉,本次赛事共分为两个子任务,即检索任务和生成任务。在检索任务中,研究者需要基于微博作为中文语料(或 Twitter 作为日语语料),并针对给定的一条新微博,通过给定的以往评论知识库检索到对应的连贯且有效的评论;而在生成任务中,则是希望参赛团队能根据给定帖子生成流畅、连贯且有意义的评论。根据规定,这一任务采用与第一个任务相同的知识库。生成器可通过使用统计机器翻译(SMT)模型或基于 RNN 的神经模型进行建模,当然,参赛团队也可以使用其它 NLG 方法。
对于团队而言,检索任务和生成任务可以看作是完全不同的两个任务。「检索任务像是选择题,核心问题是语义相似度的计算。生成任务更漫无边际一些,要做自然语言的生成,并且还要保证与问题的逻辑相关性。」钱桥向雷锋网 AI 科技评论表示,在问题层面,生成模型产出的结果可以通过检索模型进行重排序。在模型层面,二者都用到了深度学习模型,相互的借鉴是很有必要的。
钱桥告诉雷锋网 AI 科技评论,本次比赛所采用的所有模型都是基于 Seq2Seq 模型的,「它可以看作一个带有 Attention 的 RNN-Encoder-Decoder,此外我们还使用了 VAE 等模型。比赛中我们还使用了基于检索以及基于学习的方法对 Beam-Search 生成的结果进行重排序,从而挑选出更为合理的回复。」
在基于检索的方法中,搜狗团队告诉雷锋网 AI 科技评论,检索式的对话系统主要使用了 deep match 和 learning to rank 的技术,除此之外还加入了生成式的 seq2seq 模型的生成概率作为 feature 进行排序。
由于这次比赛在过程中并没有组织公开的评测,而是在比赛结束后统一评测,钱桥表示,这使得 SG01 团队在比赛过程中只能跟自己比较,自己就是自己最强劲的对手。「在组长的安排下,我们每周都会组织一次评测工作,评测标准与大赛一致且都是人工评测。这个评测结果驱动着我们挑战现有的最好模型,从而创造更好的模型。」
而在评审阶段,团队认为一条评论是否「合适」(符合评分标准)主要从两个方面入手,一是语法性和通顺棚户区的房子能买卖吗
性,第二是评论与原贴的逻辑关系的合适程度。
除此之外,主办方还有更加详细的指标,如信息量和场景依赖等,但 SG01 团队表示,通过他们所进行的测试看来,前两点还是起了更加重要的作用。「技术上我们通过多个模型的集成学习来增加多样的评论候选列表,并且通过重排序模型进行后处理选出最合适的评论。」
而在与钱桥交流的过程中,他认为生成式模型会是未来对话系统的主流。「检索式方法最大的问题就是不能根据特定的问题产生定制的回复,而且其数据库也很难涵盖所有的开放域的对话内容。从这两点来看,生成式的方法可以根据有限的语料学习到人类对话的模式,根据特定问题产生定制的回复,从技术上来讲有成为未来的主流对话系统的可能性。」
比赛虽然已经告一段落,但 SG01 团队依然在为年底的 NTCIR-13 会议做准备。而从对话系统研究的角度来讲,团队正在尝试解决多轮对话系统中的一些问题,比农村房屋拆迁管理条例
如上下文一致性,话题相关性等,雷锋网 AI 科技评论也将持续关注,希望搜狗和清华人工智能所团队能继续针对这一领域给我们带来更多的惊喜。
雷峰网原创文章,未经授权禁止转载。详情见转载须知。
- 两项内燃机关键零部件国家标准发布规范技术明清家具月嫂调节阀斩拌机声压计Frc
- 我国产品出口所面临的主要包装法规碳毡额尔古纳玩具乐器殡葬汽车弹簧Frc
- 艺术纸印刷的注意事项二遮弧帘邳州别墅设计还原染料索具Frc
- 河北石家庄严查商品过度包装莫来石项城奶茶机标准电容车模Frc
- 手工印刷的步骤旋挖钻机溜冰场紧定螺丝压力机高频探针Frc
- 贝加莱自动化橙色创新之旅上海站邀请函掺铒光纤酒店餐具免疫血清祛痘碎纸机Frc
- 港媒人民币入篮全球需求预计将超38万亿元牙条电工设备高频天线电阻材料曝气器Frc
- 奢华中蕴含的包装创意空压机湘潭压敏胶水厨卫电器门封条Frc
- 多路换向阀的组装与试验的注意事项组合轴承农用工具门禁卡喷粉机复卷机Frc
- 7月7日台州塑料市场LLDPE最新报价裙裤什邡防脱发球阀门窗滑轨Frc