windows10 开机内存就用掉10G

问题:windows10 系统刚开机,16G的内存就用掉了10G,任务管理器里所有的进程占用的内存加起来,怎么看也不可能用掉这么多。显然,物理内存被过高的消耗了。
网上搜索,很多网页都说什么 SysMain, Time Broker, 驱动,还有的说是硬盘管理的策略开了:启用设置上的写入缓存 导致。

从:https://www.zhihu.com/question/39716538 这篇文章里提到的 rammap 链接:https://docs.microsoft.com/zh-cn/sysinternals/downloads/rammap
下载windows官方内存占用分析工具:RAMMap
分析后发现是 driver locked 消耗掉了近 6.7G 物理内存 !!!

用dirver locked 继续在网上搜索,从这个帖子找到了答案:
【What is Driver Locked memory? – Rajeev Mehra’s Blog】http://rajdude.com/blog/what-is-driver-locked-memory/

问题原因:我在windows10 上使用 Hyper-V 创建了虚拟机,这个虚拟机在我未主动开启运行的情况下,自己执行了,并且系统给它分配了6G的内存(我创建虚拟机时指定的是1G内存给这个虚拟机)。只要把虚拟机关机,就可以把这6G物理内存释放出来。这时 driver locked 占用的内存只剩下170M 左右。

后续:Hyper-V 对虚拟机pause,其实只是释放cpu资源,并不会释放RAM。我之前沿用 vmware 的名词习惯,对 hpyer-v 下的windows也操作了pause,以为是挂起。其实这样并不会释放内存资源。正确的操作是点 save,这样会同时释放cpu跟ram。

机器学习框架之 scikit-learn Mars

阿里技术公众号上看到这篇文章:链接
内容关于借助Mars使用GPU做加速运算,觉得很受用。这里简单记下环境的配置。

各组件背影关系: numpy 作为基础,在其上,有 scipy 面向科学家,pandas 面向数据分析,scikit-learn 则是最著名的机器学习库,matplotlib 专注于可视化。

存在的问题:PyData 技术栈给数据科学家们提供了多维矩阵、DataFrame 上的分析和计算能力、基于二维矩阵的机器学习算法,这些库都仅仅受限于单机运算,在大数据时代,数据量一大,这些库的处理能力都显得捉襟见肘。在深度学习领域,ndarray/tensor 也是最基本的数据结构,但它们仅仅限制在深度学习上,也不适合大规模的多维矩阵运算。(参考)

Mars 这个库是阿里发起的一个开源项目,一个基于 tensor 的统一分布式计算框架。

组件安装:
pip install scikit-learn 专门面向机器学习的Python开源框架,简介
pip install pymars
pip install tensorflow
pip install cupy