自然语言处理(NLP)指的是人工智能的一种方法,它允许使用自然语言(如英语)与智能系统进行交流。
当你希望一个智能系统(如机器人)按照你的指示执行任务,或者当你要从基于对话的临床专家系统中听到决策时,就需要用到自然语言处理。
NLP领域的研究旨在让计算机能够执行人类使用的自然语言相关的有用任务。NLP系统的输入和输出可以是:
NLP的组件
在本部分中,我们将了解NLP的不同组件。NLP有两个主要的组件,下面分别描述它们:
自然语言理解 (NLU)
它涉及以下任务:
自然语言生成 (NLG)
这是从某种内部表示形式生成有意义的短语和句子的过程。它包括:
-
-
句子规划 —— 包括选择所需的单词,形成有意义的短语,设定句子的语气。
-
NLU中的难点
虽然NLU在形式和结构上非常丰富,但它也存在模糊性。模糊性可以有不同的级别:
-
词汇模糊性 —— 这是在非常基础的层面,比如单词层面。例如,“board”是名词还是动词?
-
语法层面的模糊性 —— 句子可以有多种解析方式。例如,“他用红帽子举起了甲虫。”——他是用帽子来举起甲虫,还是举起了一只戴着红帽子的甲虫?
-
指代模糊性 —— 使用代词来指代某些事物。例如,“丽玛去找高丽。她说,‘我累了。’”——到底是谁累了?
NLP术语
让我们来看一些NLP术语中的重要术语:
-
-
-
-
句法学 —— 指的是安排单词来构成句子,同时也涉及确定单词在句子和短语中的结构作用。
-
语义学 —— 关注单词的意义以及如何将单词组合成有意义的短语和句子。
-
语用学 —— 处理在不同情境中使用和理解句子,以及句子的解释是如何受到影响的。
-
-
NLP的步骤
本部分展示了NLP中的不同步骤:
词法分析
它涉及识别和分析单词的结构。一种语言的词汇表是指该语言中的单词和短语的集合。词法分析将整个文本块划分为段落、句子和单词。
句法分析(解析)
它涉及对句子中的单词进行语法分析,并以显示单词之间关系的方式排列单词。像“学校去男孩”这样的句子会被英语句法分析器拒绝。
语义分析
从中提取文本的确切意义或字典意义。文本被检查是否有意义。这是通过对任务域中的句法结构和对象进行映射来完成的。语义分析器会忽略像“热冰淇淋”这样的句子。
话语整合
任何句子的意义取决于前一句话的意义。此外,它还会影响紧接其后的句子的意义。
语用分析
在此期间,所说的话被重新解释为实际的意思。它涉及到那些需要现实世界知识的语言方面的推导。