主页
  • 主页
  • 分类
  • 热文
  • 教程
  • 面试
  • 标签
Python

Python 基础

Python 主页
Python 概述
Python 历史
Python 功能
Python 与 C++
Python Hello World
Python 应用领域
Python 解释器及其模式
Python 环境设置
Python 虚拟环境
Python 语法
Python 变量
Python 数据类型
Python 类型转换
Python Unicode 系统
Python 文字
Python 运算符
Python 算术运算符
Python 比较运算符
Python 赋值运算符
Python 逻辑运算符
Python 位运算符
Python 成员运算符
Python 身份运算符
Python 运算符优先级
Python 注释
Python 用户输入
Python 数字
Python 布尔值

Python 控制语句

Python 控制流
Python 决策
Python if 语句
Python if-else 语句
Python 嵌套 if 语句
Python match-case 语句
Python 循环
Python For 循环
Python for-else 循环
Python while 循环
Python break 语句
Python Continue 语句
Python pass 语句
Python 嵌套循环

Python 函数和模块

Python 函数
Python 默认参数
Python 关键字参数
Python 关键字专用参数
Python 位置参数
Python 仅限位置参数
Python 任意或可变长度参数
Python 变量作用域
Python 函数注释
Python 模块
Python 内置函数

Python 字符串

Python 字符串
Python 字符串切片
Python 字符串修改
Python 字符串连接
Python 字符串格式化
Python 转义字符
Python 字符串方法
Python 字符串练习

Python 列表

Python 列表
Python 访问列表项
Python 更改列表项
Python 添加列表项
Python 删除列表项
Python 循环列表
Python 列表推导式
Python 排序列表
Python 复制列表
Python 合并列表
Python 列表方法
Python 列表练习

Python 元组

Python 元组
Python 访问元组项
Python 更新元组
Python 解包元组项
Python 循环元组
Python 合并元组
Python 元组方法
Python 元组练习

Python 集合

Python 集合
Python 访问集合项
Python 添加集合项
Python 删除集合项
Python 循环集合
Python 合并集合
Python 复制集合
Python 集合运算符
Python 集合方法
Python 集合练习

Python 字典

Python 字典
Python 访问字典项
Python 更改字典项
Python 添加字典项
Python 移除字典项
Python 字典视图对象
Python 循环字典
Python 复制字典
Python 嵌套字典
Python 字典方法
Python 字典练习

Python 数组

Python 数组
Python 访问数组项
Python 添加数组项
Python 移除数组项
Python 循环数组
Python 复制数组
Python 反转数组
Python 排序数组
Python 合并数组
Python 数组方法
Python 数组练习

Python 文件处理

Python 文件处理
Python 文件写入
Python 文件读取
Python 重命名和删除文件
Python 目录
Python 文件方法
Python 文件/目录方法
Python OS.Path 方法

Python 面向对象编程

Python OOP 概念
Python 类和对象
Python 类属性
Python 类方法
Python 静态方法
Python 构造函数
Python 访问修饰符
Python 继承
Python 多态
Python 方法重写
Python 方法重载
Python 动态绑定
Python 动态类型
Python 抽象
Python 封装
Python 接口
Python 包
Python 内部类
Python 匿名类和对象
Python 单例类
Python 包装器类
Python 枚举
Python 反射

Python 错误和异常

Python 语法错误
Python 异常处理
Python Try-Except
Python Try-Finally
Python 抛出异常
Python 异常链
Python 嵌套 try
Python 用户定义异常
Python 日志记录
Python 断言
Python 内置异常

Python 多线程

Python 多线程
Python 线程生命周期
Python 创建线程
Python 启动线程
Python 合并线程
Python 命名线程
Python 线程调度
Python 线程池
Python 主线程
Python 线程优先级
Python 守护线程
Python 线程同步

Python 同步

Python 线程间通信
Python 死锁
Python 中断线程

Python 网络

Python 网络编程
Python 套接字编程
Python URL 处理
Python 泛型

Python 杂项

Python Date and Time
Python math模块
Python 迭代器
Python 生成器
Python 闭包
Python 装饰器
Python 递归
Python 正则表达式
Python Pip
Python 数据库访问
Python 弱引用
Python 序列化
Python 模板技术
Python 输出格式化
Python 性能测量
Python 数据压缩
Python 通用网关接口
Python XML 处理
Python 用户界面(GUI)
Python 命令行参数
Python Docstrings
Python JSON
Python 发送电子邮件
Python 进一步扩展
Python 工具/实用程序
Python GUI

Python 高级概念

Python 抽象基类
Python 自定义异常
Python 高阶函数
Python 对象的内部机制
Python 内存管理
Python 元类
Python 元编程
Python 模拟与桩
Python 猴子补丁
Python 信号处理
Python 类型提示
Python 进行自动化
Python Humanize包
Python 上下文管理器
Python 协程
Python 描述符
Python 内存泄漏
Python 不可变数据结构

基础

Python 主页
Python 概述
Python 历史
Python 功能
Python 与 C++
Python Hello World
Python 应用领域
Python 解释器及其模式
Python 环境设置
Python 虚拟环境
Python 语法
Python 变量
Python 数据类型
Python 类型转换
Python Unicode 系统
Python 文字
Python 运算符
Python 算术运算符
Python 比较运算符
Python 赋值运算符
Python 逻辑运算符
Python 位运算符
Python 成员运算符
Python 身份运算符
Python 运算符优先级
Python 注释
Python 用户输入
Python 数字
Python 布尔值

控制语句

Python 控制流
Python 决策
Python if 语句
Python if-else 语句
Python 嵌套 if 语句
Python match-case 语句
Python 循环
Python For 循环
Python for-else 循环
Python while 循环
Python break 语句
Python Continue 语句
Python pass 语句
Python 嵌套循环

函数和模块

Python 函数
Python 默认参数
Python 关键字参数
Python 关键字专用参数
Python 位置参数
Python 仅限位置参数
Python 任意或可变长度参数
Python 变量作用域
Python 函数注释
Python 模块
Python 内置函数

字符串

Python 字符串
Python 字符串切片
Python 字符串修改
Python 字符串连接
Python 字符串格式化
Python 转义字符
Python 字符串方法
Python 字符串练习

列表

Python 列表
Python 访问列表项
Python 更改列表项
Python 添加列表项
Python 删除列表项
Python 循环列表
Python 列表推导式
Python 排序列表
Python 复制列表
Python 合并列表
Python 列表方法
Python 列表练习

元组

Python 元组
Python 访问元组项
Python 更新元组
Python 解包元组项
Python 循环元组
Python 合并元组
Python 元组方法
Python 元组练习

集合

Python 集合
Python 访问集合项
Python 添加集合项
Python 删除集合项
Python 循环集合
Python 合并集合
Python 复制集合
Python 集合运算符
Python 集合方法
Python 集合练习

字典

Python 字典
Python 访问字典项
Python 更改字典项
Python 添加字典项
Python 移除字典项
Python 字典视图对象
Python 循环字典
Python 复制字典
Python 嵌套字典
Python 字典方法
Python 字典练习

数组

Python 数组
Python 访问数组项
Python 添加数组项
Python 移除数组项
Python 循环数组
Python 复制数组
Python 反转数组
Python 排序数组
Python 合并数组
Python 数组方法
Python 数组练习

文件处理

Python 文件处理
Python 文件写入
Python 文件读取
Python 重命名和删除文件
Python 目录
Python 文件方法
Python 文件/目录方法
Python OS.Path 方法

面向对象编程

Python OOP 概念
Python 类和对象
Python 类属性
Python 类方法
Python 静态方法
Python 构造函数
Python 访问修饰符
Python 继承
Python 多态
Python 方法重写
Python 方法重载
Python 动态绑定
Python 动态类型
Python 抽象
Python 封装
Python 接口
Python 包
Python 内部类
Python 匿名类和对象
Python 单例类
Python 包装器类
Python 枚举
Python 反射

错误和异常

Python 语法错误
Python 异常处理
Python Try-Except
Python Try-Finally
Python 抛出异常
Python 异常链
Python 嵌套 try
Python 用户定义异常
Python 日志记录
Python 断言
Python 内置异常

多线程

Python 多线程
Python 线程生命周期
Python 创建线程
Python 启动线程
Python 合并线程
Python 命名线程
Python 线程调度
Python 线程池
Python 主线程
Python 线程优先级
Python 守护线程
Python 线程同步

同步

Python 线程间通信
Python 死锁
Python 中断线程

网络

Python 网络编程
Python 套接字编程
Python URL 处理
Python 泛型

杂项

Python Date and Time
Python math模块
Python 迭代器
Python 生成器
Python 闭包
Python 装饰器
Python 递归
Python 正则表达式
Python Pip
Python 数据库访问
Python 弱引用
Python 序列化
Python 模板技术
Python 输出格式化
Python 性能测量
Python 数据压缩
Python 通用网关接口
Python XML 处理
Python 用户界面(GUI)
Python 命令行参数
Python Docstrings
Python JSON
Python 发送电子邮件
Python 进一步扩展
Python 工具/实用程序
Python GUI

高级概念

Python 抽象基类
Python 自定义异常
Python 高阶函数
Python 对象的内部机制
Python 内存管理
Python 元类
Python 元编程
Python 模拟与桩
Python 猴子补丁
Python 信号处理
Python 类型提示
Python 进行自动化
Python Humanize包
Python 上下文管理器
Python 协程
Python 描述符
Python 内存泄漏
Python 不可变数据结构

Python 内存泄漏


上一章 下一章

内存泄漏发生在程序错误管理内存分配时,导致可用内存减少,可能引起程序变慢或崩溃。

在 Python 中,内存管理通常由解释器处理,但仍可能发生内存泄漏,尤其是在长时间运行的应用程序中。诊断和修复 Python 中的内存泄漏涉及理解内存如何分配、识别问题区域并应用适当的解决方案。

Python 中内存泄漏的原因

Python 中的内存泄漏可以由多种原因引起,主要围绕对象如何被引用和管理。以下是一些常见的内存泄漏原因:

1. 未释放的引用

当不再需要的对象仍被代码中的某个地方引用时,它们不会被取消分配,从而导致内存泄漏。下面是一个例子:

def create_list():
   my_list = [1] * (10**6)
   return my_list

my_list = create_list()
# 如果不清理或重新分配 my_list,它将继续占用内存。
print(my_list)

输出

[1, 1, 1, 1,
............
............
1, 1, 1, 1]

2. 循环引用

循环引用在 Python 中可以导致内存泄漏,但如果管理得当,Python 的循环垃圾回收器可以自动处理很多情况。

为了检测和打破循环引用,我们可以使用 gc 和 weakref 模块这样的工具。这些工具对于复杂 Python 应用程序的有效内存管理至关重要。以下是循环引用的一个例子:

class Node:
   def __init__(self, value):
      self.value = value
      self.next = None

a = Node(1)
b = Node(2)
a.next = b
b.next = a
# 'a' 和 'b' 相互引用,形成了循环引用。

3. 全局变量

在全局作用域声明的变量在整个程序生命周期内持续存在,如果管理不当可能会导致内存泄漏。下面是一个例子:

large_data = [1] * (10**6)

def process_data():
   global large_data
   # 使用 large_data
   pass

# large_data 在程序运行期间一直存在于内存中。

4. 长寿命的对象

那些在整个应用程序生命周期内存在的对象,如果随着时间积累,可能会引起内存问题。这里有一个例子:

cache = {}

def cache_data(key, value):
   cache[key] = value

# 缓存的数据直到显式清除前一直存在于内存中。

5. 不正确使用闭包

捕获并保留对大对象引用的闭包可能会无意中造成内存泄漏。下面是一个例子:

def create_closure():
   large_object = [1] * (10**6)
   def closure():
      return large_object
   return closure

my_closure = create_closure()
# 大对象被闭包保持,导致内存泄漏。

诊断内存泄漏的工具

诊断 Python 中的内存泄漏可能是具有挑战性的,但有许多工具和技术可以帮助识别和解决这些问题。以下是一些最有效的工具和方法来诊断 Python 中的内存泄漏:

1. 使用 "gc" 模块

gc 模块可以帮助识别未被垃圾回收器收集的对象。下面是一个使用 gc 模块诊断内存泄漏的例子:

import gc

# 启用自动垃圾回收
gc.enable()

# 收集垃圾并返回不可达的对象
unreachable_objects = gc.collect()
print(f"不可达的对象: {unreachable_objects}")

# 获取垃圾回收器追踪的所有对象列表
all_objects = gc.get_objects()
print(f"追踪对象的数量: {len(all_objects)}")

输出

不可达的对象: 51
追踪对象的数量: 6117

2. 使用 "tracemalloc"

tracemalloc 模块用于跟踪 Python 中的内存分配。它有助于跟踪内存使用情况并确定内存的分配位置。下面是一个使用 tracemalloc 模块诊断内存泄漏的例子:

import tracemalloc

# 开始跟踪内存分配
tracemalloc.start()

# 我们的代码在这里
a = 10
b = 20
c = a + b
# 获取当前内存使用的快照
snapshot = tracemalloc.take_snapshot()

# 显示前十大内存消耗行
top_stats = snapshot.statistics('lineno')
for stat in top_stats[:10]:
   print(stat)

输出

C:\Users\Niharikaa\Desktop\sample.py:7: size=400 B, count=1, average=400 B

3. 使用 "memory_profiler"

memory_profiler 是一个模块,用于监控 Python 程序的内存使用情况。它提供了一个装饰器来分析函数,并提供了一个命令行工具来进行逐行的内存使用分析。下面是一个使用 memory_profiler 模块诊断内存泄漏的例子:

from memory_profiler import profile

@profile
def my_function():
   # 我们的代码在这里
   a = 10
   b = 20
   c = a + b
    
if __name__ == "__main__":
    my_function()

输出

Line #      Mem   usage    Increment  Occurrences   Line 
======================================================================
     3     49.1   MiB      49.1 MiB         1       @profile
     4                                              def my_function():
     5                                              # Your code here
     6     49.1   MiB      0.0 MiB          1       a = 10
     7     49.1   MiB      0.0 MiB          1       b = 20
     8     49.1   MiB      0.0 MiB          1       c = a+b

修复内存泄漏

一旦发现内存泄漏,我们可以修复内存泄漏,这涉及到定位并消除对不再需要的对象的多余引用。

  • 消除全局变量:除非绝对必要,否则避免使用全局变量。相反,可以使用局部变量或将对象作为参数传递给函数。
  • 打破循环引用:尽可能使用弱引用打破循环。weakref 模块允许我们创建不会阻止垃圾回收的弱引用。
  • 手动清理:当对象不再需要时,明确地删除对象或移除引用。
  • 使用上下文管理器:确保使用上下文管理器即 with 语句来适当地清理资源。
  • 优化数据结构:使用适当的数据结构,不会无谓地持有引用。

综上所述,诊断和修复 Python 中的内存泄漏包括使用像 gc、memory_profiler 和 tracemalloc 等工具识别持久存在的引用,并实施修复措施,如移除不必要的引用和打破循环引用。

遵循这些步骤,我们可以确保 Python 程序高效地使用内存并避免内存泄漏。

上一章 下一章
阅读号二维码

关注阅读号

联系二维码

联系我们

© 2024 Yoagoa. All rights reserved.

粤ICP备18007391号

站点地图