问答系统
Simple Entity-Centric Questions Challenge Dense Retrievers
Maple小七
百度 NLP算法工程师
Source: EMNLP 2021: Simple Entity-Centric Questions Challenge Dense Retrievers Code: princeton-nlp/EntityQuestions TL;DR: 最近，以DPR为代表的稠密检索模型在开放域问答上取得了巨大的进展，然而，目前的稠密检索模型还无法完全替代BM25这类稀疏检索模型。本文作者构建了一个以实体为中心的问答数据集：EntityQuestions，并发现DPR模型在该数据集上的表现大幅落后于BM25。经过分析，作者发现DPR只能泛化到那些具有常见实…
答案选择|语义匹配任务目前表现最好的几个模型
是江晚晚呀
Answer selection是QA中的一个重要任务。基本定义是：给出问题q和该问题的答案候选池 （s是池大小），目标是从答案池中找到可以准确回答问题最佳答案候选 。这项任务的主要挑战是正确的答案可能不会直接与问题共享词汇单位。相反，它们可能只是在语义上相关。此外，答案有时很嘈杂，并且包含大量不相关的信息。 text matching是nlp中一个重要的基础问题，nlp中的许多任务都可以抽象为文本匹配任务。文本匹配的算法，主要用于搜索…
TransferNet：一个用于关系图多跳问答的透明有效框架
Hanscal
关注NLP领域，聚集于QA，对话和知识图谱。
论文题目：TransferNet: An Effective and Transparent Framework for Multi-hop Question Answering over Relation Graph [1]代码地址： https://github.com/shijx12/TransferNet 清华大学李涓子团队联合华为和南洋理工大学在EMNLP2021会议上发表了一篇多跳问答工作TransferNet，作者在三个数据集进行了广泛的实验，并证明 TransferNet 在很大程度上超越了最先进的模型。 特别是在 MetaQA 上，它在 2-hop 和 3-hop 问题中实现了 100% 的准确率。背…
针对复杂问题的知识图谱问答最新进展
PaperWeekly
欢迎关注同名公众号：PaperWeekly
作者｜付彬、唐呈光、李杨、余海洋、孙建 单位｜阿里巴巴达摩院小蜜Conversational AI团1. 背景介绍知识图谱问答（KBQA）利用图谱丰富的语义关联信息，能够深入理解用户问题并给出答案，近年来吸引了学术界和工业界的广泛关注。KBQA 主要任务是将自然语言问题（NLQ）通过不同方法映射到结构化的查询，并在知识图谱中获取答案。 小蜜团队研发的知识图谱问答系统（KBQA）目前已广泛应用于电信运营商、保险、税务等领域，但是在真实…
[论文速递] COLING 2022 Question Answering
Y.Shu
自然语言处理
https://coling2022.org/papers CMQA: A Dataset of Conditional Question Answering with Multiple-Span AnswersYiming Ju, Weikang Wang, Yuanzhe Zhang, Suncong Zheng, Kang Liu and Jun ZhaoIn-the-Wild Video Question AnsweringSantiago Castro, Naihao Deng, Pingxuan Huang, Mihai G. Burzo and Rada MihalceaArT: All-round Thinker for Unsupervised Commonsense Question AnsweringJiawei Wang and Hai ZhaoDual Capsule Atten…
Retrieval-Augmented Generation for Open-Domain QA
Maple小七
百度 NLP算法工程师
Source: NeurIPS 2020:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks Code: huggingface/transformers Key insight: 虽然以GPT-3为代表的预训练语言模型可以看作是一个隐式的大规模知识库，但这些模型在知识密集型任务上的表现依旧有不少限制和不足。本文作者在此基础上提出了RAG模型，该模型引入了文档检索模块和外部知识库来增强生成式语言模型在知识密集型任务上的表现，并避免了大规模预训练模型的一些…
学霸君这个app为什么能够在几分钟内就能响应问题，原理是什么？
匿名用户
我在它家后台兼职负责搜题。我大概说一下吧，可能用词不怎么专业，我会尽力说清楚的。 学霸君有个庞大的题库，当使用者拍照题目后，计算机扫瞄题目，在题库中搜索相应的答案再反馈给使用者。而当计算机无法准确识别题目或在题库中找出答案时就会把题传到我们后台。 后台运作： 题先到审核人员那里，审核人员将截取与题目相关的部分。（因为手写或者其它花里胡哨的东西会影响电脑识别题目）再对题目进行科目归类。非题目（比如自…
论文阅读笔记：一种模型训练模型的开放域问答方法，SOTA！
DengBoCong
NLPer | Deep Learning
DISTILLING KNOWLEDGE FROM READER TO RETRIEVER FOR QUESTION ANSWERING nlp-paper：NLP相关Paper笔记和代码复现 nlp-dialogue：一个开源的全流程对话系统，更新中！ 说明：阅读原文时进行相关思想、结构、优缺点，内容进行提炼和记录，原文和相关引用会标明出处，引用之处如有侵权，烦请告知删除。 转载请注明：DengBoCong开放域问答系统中的Retriever的训练，往往是有监督的，这需要我们为模型提供大量的样本数据，这篇文章利…
智能问答系统，文本原始语料库如何构建，存储？
AI学习记录
电子科技大学 管理学硕士在读
语料库肯定来自于企业内部的各种文档，至于存储一般都是选择向量化数据库+关系型数据库配合使用 这套系统框架搭建并不难，难的是如何处理好语料，毕竟Word Excel PPT PDF各种格式文件都有，每种格式的文件内容版式也有，里面有文本，有图片，有表格，还有何种内嵌链接，批注等，如何清洗这些文档内容，将其全部转换成可以高效向量化且具有实际语义的文本，是构建这套系统最关键的一步 可以看看我之前写的文章： “知识中心”项目…
要构建一个智能问答系统，应该从哪些知识方面入手？
严昕
一个程序员
现在是2023年3月，如果站在现在的时间点，你想要做一个基于文档的智能问答系统，得益于强大的生成式大模型，难度不会很大。 chatgpt的api距今上线一周，已经出现了几款热度很高的文档问答产品，例如 chatpdf ，接下来解析一下这些产品背后的技术原理。任务描述和问题分析对话式文档问答，字面意思就是基于文档建立的问答系统。使用这项技术，开发者无需梳理意图、词槽，无需进行问题和答案的整理，只需准备文本格式的业务文档（例…
Recall-then-Verify框架回答开放域多答案问题
Hanscal
关注NLP领域，聚集于QA，对话和知识图谱。
论文题目：Answering Open-Domain Multi-Answer Questions via a Recall-then-Verify Framework [1]代码地址： https://github.com/ZhihongShao/RECTIFY 清华大学COAI团队在ACL2022会议上发表了一篇有关多答案开放域问答工作，作者提出 召回然后验证框架来回答开放域多答案问题，该框架将每个答案的推理过程分开，以便我们可以更好地利用检索到的证据，同时还可以在相同的内存限制下更好地利用大型模型。 背景介绍开放域中的问答系统是通过大规模语…
2019 年，智能问答（Question Answering）的主要研究方向有哪些？
luxi
NLPer
智能问答是个覆盖范围广泛的领域。按照目前主流的方向来划分，其中包括了（暂不考虑FAQ问答）： 1、KBQA；2、IR-based QA；3、Community QA；4、Open-domain QA；5、MRC；（开放域的问答和MRC有共通的部分） 看到题主的回答中涉及的大多数MRC方向上的工作。我也主要就MRC方向分享一些看法。 1 研究任务：从ACL/EMNLP/NAACL三大顶会的趋势看，就我关注到的内容而言，有两个任务热度很高： 1、 Multi-hop QA，尤其是在HotpotQA任务…
[读综述] 神经机器阅读理解：方法与趋势
Y.Shu
自然语言处理
论文原文：Neural Machine Reading Comprehension: Methods and Trends 来源：arXiv:1907.01118 阅读理解现在已经是一个活跃的研究领域。本综述选取的文章较新，并且只关注于几个重要的 NLP 顶会，值得一读。 介绍机器阅读理解（MRC）是一项任务，旨在通过要求机器根据给定的上下文回答问题来测试机器对自然语言的理解程度，这项研究可以追溯到1970年代。早期的 MRC 系统由于人为生成的数据集和基于规则的方法规模较小，效果不佳…
要构建一个智能问答系统，应该从哪些知识方面入手？
数据拾光者
OPPO 员工
之前参加公司的算法大赛，NLP赛道的一个题目就是《小布语音助手知识问答》，把比赛的优化实践思考以及总结成一篇文章分享出来，希望对小伙伴有帮助，下面是文章地址： [文章: 广告行业中那些趣事系列43：小布语音助手知识问答比赛优化实践] 文章正文如下： 导读：本文是“数据拾光者”专栏的第四十三篇文章，这个系列将介绍在广告行业中自然语言处理和推荐系统实践。本篇主要分享了参加公司小布助手知识问答的比赛优化实践记…
揭开知识库问答KB-QA的面纱1·简介篇
Losin
内容速览什么是知识库（knowledge base, KB）什么是知识库问答（knowledge base question answering, KB-QA） 知识库问答的主流方法 知识库问答的数据集 什么是知识库 “奥巴马出生在火奴鲁鲁。” “姚明是中国人。” “谢霆锋的爸爸是谢贤。”这些就是一条条知识，而把大量的知识汇聚起来就成为了知识库。我们可以在wiki百科，百度百科等百科全书查阅到大量的知识。然而，这些百科全书的知识组建形式是 非结构化的自然语言，这…
基于知识图谱的红楼梦问答系统
Codering
专注于研究生教育，深度学习领域
包含Flask web开发、Neo4j数据库、js、实体识别等技术
论文阅读笔记：DPR一种高效的开放域问答检索技术
DengBoCong
NLPer | Deep Learning
Dense Passage Retrieval for Open-Domain Question Answering nlp-paper：NLP相关Paper笔记和代码复现 nlp-dialogue：一个开源的全流程对话系统，更新中！ text-similarity：文本相似度（匹配）计算模型包 说明：阅读原文时进行相关思想、结构、优缺点，内容进行提炼和记录，原文和相关引用会标明出处，引用之处如有侵权，烦请告知删除。 转载请注明：DengBoCong在开放域的问答系统中，我们需要从大量的文本数据中搜索匹配我们…
要构建一个智能问答系统，应该从哪些知识方面入手？
Y.Shu
自然语言处理
科研与论文方面，推荐两篇综述。 文本阅读方面，ACL2020 Tutorial: Open-Domain Question Answering. danqi/acl2020-openqa-tutorial 知识库问答方面，IJCAI 2021 A Survey on Complex Knowledge Base Question Answering: Methods, Challenges and Solutions. A Survey on Complex Knowledge Base Question Answering: Methods, Challenges and Solutions 代码实现方面，MRC 和 KBQA 的论文有一些开源代码可供参考。 …
CS224N笔记(十):问答系统
川陀学者
为心理史学而奋斗!
问答系统(Question Answering)实际需求很多，比如我们常用的谷歌搜索就可看做是问答系统。通常我们可以将问答系统看做两部分：从海量的文件中，找到与问题相关的可能包含回答的文件，这一过程是传统的information retrieval；从文件或段落中找到相关的答案，这一过程也被称作Reading Comprehension阅读理解，也是这一讲关注的重点。SQuADReading Comprehension需要数据是Passage即文字段落，Question问题以及相应的Answer回答。S…
2019 年，智能问答（Question Answering）的主要研究方向有哪些？
Y.Shu
自然语言处理
提出这个问题一个多月之后，我又来自问自答一下吧，暂时能想到的主要方向包括： 非事实类问题大多数研究关注于事实类问题，而非事实类问题的研究相对不足，包括数学类的问题、判断类的问题等。 [EMNLP 2019] NumNet: Machine Reading Comprehension with Numerical Reasoning 数学类问题感谢 @Erutan Lai 的补充：NAACL19 - MathQA: Towards Interpretable Math Word Problem Solving with Operation-Based FormalismsNAACL19 - …
讨论量
3798