multiprocessing.shared_memory，世界上最牛逼的进程间共享内存Python库！

multiprocessing.shared_memory 是Python 3 .8 中引入的共享内存模块。

主要优点：数据交换无需复制。

提高生产率：高达 1 0 倍。

适用场景：机器学习、图像处理等大数据集。

要点： 1 .零拷贝共享：直接访问物理内存，无需序列化。
2 .内置支持：无需安装，Python 3 .8 +可用。
3 .传统比较：Queue/Pipe有序列化开销。

示例： 1 . 共享 NumPy 数组：
主进程创建共享内存并复制数据。

子进程通过名称连接并访问数据。

2 动态内存管理：
创建一个可以扩展的初始内存块。

高级技能： 1 .引用计数管理：
封装的类控制引用计数，防止内存泄漏。

2 同步机制：
使用锁定来避免并发冲突。

注意事项： 1 .内存泄漏的风险：必须调用close()和unlink()。
2 .固定大小：一旦创建就不可更改，需要提前规划。
3 . 平台兼容性：Windows 和 Unix 之间的行为差​​异。

案例研究：图像处理管道：
使用共享内存传输图像数据。

启动图像处理子进程。

性能优化： 1 、批处理：减少通讯频率。
2 .内存对齐：提高访问效率。

替代方案：
multiprocessing.Array：适合简单数据类型。

mmap：进程间文件映射，但需要额外的I/O开销。

简历： multiprocessing.shared_memory 适用于机器学习、图像处理等场景。
创建、连接、运行和发布是主要阶段。
注意时序和内存管理。

Python线程和进程

嗯，这确实是对 Python 中线程和进程的全面概述。
我来详细阐述一下我的理解。

我们先来谈谈线程。
这就像在办公室里一样。
每个人（线程）都忙于自己的工作，但每个人都在同一个办公室（进程），可以共享一些东西，例如打印机和文件柜。
线程的优点是它们启动和切换很快，因为每个人都在同一个地方，不需要来回。
但是，如果您有一个大型项目，需要大量信息，打印机就会被占用，您将不得不排队等待。
这对应于Python的GIL（全局解释器锁），它一次只允许一个线程执行Python字节码，所以如果你的任务是计算密集型的，可能没有足够的线程。

接下来是流程。
这就好比每个人都有自己的办公室，自己的打印机和文件柜，互不干扰。
但每次您需要新办公室时，您都必须进行翻新或流程。
这个成本比线程成本要高。
然而，由于没有人干扰其他人，因此多个任务可以在多核 CPU 上同时运行。
就好像让每个人都在单独的打印机上打印文件一样，效率自然更高。

线程同步就像在办公室共享一台咖啡机。
我需要一个“开关”来控制它，以避免由于同时按下按钮而造成混乱。
这个开关是一个Python锁。
这样，当一个人使用咖啡机时，其他人就不能使用，咖啡也不会烧焦。

我自己的陷阱是，当我第一次使用Python进行数据分析时，我发现线程非常有用。
但我们发现，在执行计算密集型任务时，性能提升并不明显，不得不切换进程。
但是，如果您正在执行 I/O 密集型任务（例如网络爬行），线程可以为您节省大量时间。

无论如何，您可以根据自己的任务选择合适的并发方法。
我还在思考这个问题。
毕竟，最佳解决方案可能会根据您的情况而有所不同。

Python进程和线程

哎，说到进程和线程，我当时写Python代码的时候并没有理解。
我只是想让他跑得更快。
流程就像工厂里的车间。
每个实验室都可以独立生产东西，互不干扰。
我记得我曾经使用过图像处理软件，它特别适合使用多进程，因为图像处理是CPU密集型的，一个车间无法处理。
如果多个工作室一起使用，效率会提高。
我记得当时在某个城市，我们在一个项目中使用了5 0个流程，处理了1 000张图像。
这可是一笔很大的钱，我们花了1 0万元。

对于线程来说，他们就像车间里的工人。
每个人都在实验室一起工作。
Python GIL 就像车间主管。
无论您有多少工人，一次只有一名工人可以操作机器。
因此，对于CPU密集型任务，例如数值模拟，使用线程的效果并不明显。
我记得一位同事曾经编写过一些计算密集型代码。
当我在本地运行它时，多线程根本不起作用。
结果我后来改用了多处理，性能直接提升了。

哎，说到多进程和线程、资源占用、通信方式和稳定性，这些方面我都要考虑。
进程间通信需要使用管道、队列或共享内存，这是相当有问题的。
线程可以直接访问共享变量，但要小心并使用锁，否则数据会混乱。

我的下一个项目是构建一个网络爬虫。
这项工作非常适合使用多线程。
我记得有一次我们用了1 00个线程爬取了一个城市的所有网页。
速度竟然这么快。
但是，多线程也存在问题。
有时，当一个线程出错时，其他线程必须继续执行，有时整个程序必须停下来检查。

嘿，最终，Python 进程和线程各有其自身的优点和缺点。
选择哪一种取决于您的具体需求。
如果是CPU密集型任务，多处理会更好；如果是 I/O 密集型任务，多线程更好。
我记得一位同事曾经写过一个关于机器学习的培训程序。
最初使用了多线程，但性能并没有提高。
后来他改用多处理，效率提高了好几倍。
这个问题需要具体问题具体分析。