主页
  • 主页
  • 分类
  • 热文
  • 教程
  • 面试
  • 标签
Python 人工智能

Python 人工智能 教程

Python 人工智能 入门概念
Python 人工智能 开始使用
Python 人工智能 机器学习
Python 人工智能 数据准备
Python 人工智能 监督学习:分类
Python 人工智能 监督学习:回归
Python 人工智能 逻辑编程
Python 人工智能 无监督学习:聚类
Python 人工智能 自然语言处理 (NLP)
Python 人工智能 NLTK(自然语言工具包)
Python 人工智能 分析时间序列数据
Python 人工智能 语音识别
Python 人工智能 启发式搜索
Python 人工智能 游戏
Python 人工智能 神经网络
Python 人工智能 强化学习
Python 人工智能 遗传算法
Python 人工智能 计算机视觉
Python 人工智能 深度学习

教程

Python 人工智能 入门概念
Python 人工智能 开始使用
Python 人工智能 机器学习
Python 人工智能 数据准备
Python 人工智能 监督学习:分类
Python 人工智能 监督学习:回归
Python 人工智能 逻辑编程
Python 人工智能 无监督学习:聚类
Python 人工智能 自然语言处理 (NLP)
Python 人工智能 NLTK(自然语言工具包)
Python 人工智能 分析时间序列数据
Python 人工智能 语音识别
Python 人工智能 启发式搜索
Python 人工智能 游戏
Python 人工智能 神经网络
Python 人工智能 强化学习
Python 人工智能 遗传算法
Python 人工智能 计算机视觉
Python 人工智能 深度学习

Python 人工智能 自然语言处理 (NLP)


上一章 下一章

自然语言处理(NLP)指的是人工智能的一种方法,它允许使用自然语言(如英语)与智能系统进行交流。

当你希望一个智能系统(如机器人)按照你的指示执行任务,或者当你要从基于对话的临床专家系统中听到决策时,就需要用到自然语言处理。

NLP领域的研究旨在让计算机能够执行人类使用的自然语言相关的有用任务。NLP系统的输入和输出可以是:

  • 语音
  • 文本

NLP的组件

在本部分中,我们将了解NLP的不同组件。NLP有两个主要的组件,下面分别描述它们:

自然语言理解 (NLU)

它涉及以下任务:

  • 将给定的自然语言输入映射成有用的表示形式。
  • 分析语言的不同方面。

自然语言生成 (NLG)

这是从某种内部表示形式生成有意义的短语和句子的过程。它包括:

  • 文本规划 —— 包括从知识库中检索相关内容。
  • 句子规划 —— 包括选择所需的单词,形成有意义的短语,设定句子的语气。
  • 文本实现 —— 将句子规划映射到句子结构。

NLU中的难点

虽然NLU在形式和结构上非常丰富,但它也存在模糊性。模糊性可以有不同的级别:

  • 词汇模糊性 —— 这是在非常基础的层面,比如单词层面。例如,“board”是名词还是动词?
  • 语法层面的模糊性 —— 句子可以有多种解析方式。例如,“他用红帽子举起了甲虫。”——他是用帽子来举起甲虫,还是举起了一只戴着红帽子的甲虫?
  • 指代模糊性 —— 使用代词来指代某些事物。例如,“丽玛去找高丽。她说,‘我累了。’”——到底是谁累了?

NLP术语

让我们来看一些NLP术语中的重要术语:

  • 音系学 —— 研究系统地组织声音。
  • 形态学 —— 研究从基本的意义单位构造词语。
  • 词素 —— 语言中的基本意义单位。
  • 句法学 —— 指的是安排单词来构成句子,同时也涉及确定单词在句子和短语中的结构作用。
  • 语义学 —— 关注单词的意义以及如何将单词组合成有意义的短语和句子。
  • 语用学 —— 处理在不同情境中使用和理解句子,以及句子的解释是如何受到影响的。
  • 话语 —— 处理前一句如何影响下一句的理解。
  • 世界知识 —— 包括关于世界的常识。

NLP的步骤

本部分展示了NLP中的不同步骤:

词法分析

它涉及识别和分析单词的结构。一种语言的词汇表是指该语言中的单词和短语的集合。词法分析将整个文本块划分为段落、句子和单词。

句法分析(解析)

它涉及对句子中的单词进行语法分析,并以显示单词之间关系的方式排列单词。像“学校去男孩”这样的句子会被英语句法分析器拒绝。

语义分析

从中提取文本的确切意义或字典意义。文本被检查是否有意义。这是通过对任务域中的句法结构和对象进行映射来完成的。语义分析器会忽略像“热冰淇淋”这样的句子。

话语整合

任何句子的意义取决于前一句话的意义。此外,它还会影响紧接其后的句子的意义。

语用分析

在此期间,所说的话被重新解释为实际的意思。它涉及到那些需要现实世界知识的语言方面的推导。

上一章 下一章
阅读号二维码

关注阅读号

联系二维码

联系我们

© 2024 Yoagoa. All rights reserved.

粤ICP备18007391号

站点地图