服务器之家:专注于服务器技术及软件下载分享
分类导航

PHP教程|ASP.NET教程|Java教程|ASP教程|编程技术|正则表达式|C/C++|IOS|C#|Swift|Android|VB|R语言|JavaScript|易语言|vb.net|

服务器之家 - 编程语言 - R语言 - R语言-解决处理矩阵遇到内存不足的问题

R语言-解决处理矩阵遇到内存不足的问题

2022-01-12 14:41lww1993 R语言

这篇文章主要介绍了R语言-解决处理矩阵遇到内存不足的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

如下:

Error : cannot allocate vector of size X Gb

类似于这种问题的可能处理办法:

1. 可以用matrix尽量不要用data frame;

2. 可以用integer matrix尽量不要用 double matrix;

3. 对于大量运算后最好加上一个gc(), 强制R语言回收内存;

4. 对于大矩阵而言用bigmemory包,可以将大矩阵放到临时文件中,不占用内存。

补充:R语言之内存管理

在处理大型数据过程中,R语言的内存管理就显得十分重要,以下介绍几种常用的处理方法。

1,设置软件的内存

?
1
2
3
4
5
6
7
8
9
10
11
memory.size(2048) #设置内存大小  
memory.size(NA) #查看当前设置下最大内存
#or 
memory.limit()  
memory.size(F) #查看当前已使用的内存  
#or  
library(pryr)  
mem_used()  
   
mem_change(x <- 1:1e6) #查看执行命令时内存的变化  
memory.size(T)  #查看已分配的内存

注意刚开始时已使用内存和已分配内存是同步增加的,但是随着R中的垃圾被清理,已使用内存会减少,而已分配给R的内存一般不会改变。

2,对象的存储

R中的对象在内存中存于两种不同的地方,一种是堆内存(heap),其基本单元是“Vcells”,每个大小为8字节,新来一个对象就会申请一块空间,把值全部存在这里,和C里面的堆内存很像。第二种是地址对(cons cells),和LISP里的cons cells道理一样,主要用来存储地址信息,最小单元一般在32位系统中是28字节、64位系统中是56字节。

?
1
2
3
4
5
ls()           #查看当前对象  
object.size()    查看对象所占内存  
#or  
library(pryr)  
object_size()  #区别于前者,它进行了换算

1) 新建对象分配合适的内存

R会将新的对象存储在“连续”的内存中,如果没有这样的空间就会返回“Cannot allocate vector of size...” 的错误,有以下几种处理方法:

a) 如果有多个矩阵需要存储,确保优先存储较大的矩阵,然后依次存储较小的矩阵.

b) 预先分配合适的内存.

大家都知道R中矩阵的维度并不需要赋一个固定的值(很多语言的数组长度不能为变量),这为写程序带来了极大的方便,因此经常在循环中会出现某个矩阵越来越长的情况,实际上,矩阵每增长一次,即使赋给同名的变量,都需要新开辟一块更大的空间,假设初始矩阵为100K,第二个为101K,一直增到120K,那么,将会分别开辟100K、101K一直到120K的连续堆内存,如果一开始就开一块120K的,使之从101K逐渐增长到120K,将会大大地节约内存。cbind函数也是这个道理,所以在循环中要注意不要滥用。

c) 换到64位的计算机,这种问题较少出现.

2) 改变当前对象的存储模式

例如某个矩阵默认就是"double"的,如果这个矩阵的数值都是整数甚至0-1,完全没必要使用double来占用空间,可以将其改为整数型,可以看到该对象的大小会变为原来的一半。

storage.mode(x) #查看对象的存储模式 storage.mode(x) <- "integer" #整数型存储模式

3) 清理中间对象

rm() #删除变量的引用,经常用它来清理中间对象,其中比较重要的文件可以存在硬盘里,比如csv文件或者RSqlite等

gc() #清理内存空间

4) 清理其他对象

.ls.objects() #查看内存消耗较大的文件,并处理掉其他无关对象.代码如下:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
.ls.objects <- function (pos = 1, pattern, order.by = "Size", decreasing=TRUE, head = TRUE, n = 10) {  
  napply <- function(names, fn) sapply(names, function(x)  
          fn(get(x, pos = pos)))  
  names <- ls(pos = pos, pattern = pattern)  
  obj.class <- napply(names, function(x) as.character(class(x))[1])  
  obj.mode <- napply(names, mode)  
  obj.type <- ifelse(is.na(obj.class), obj.mode, obj.class)  
  obj.size <- napply(names, object.size) / 10^6 # megabytes  
  obj.dim <- t(napply(names, function(x)  
            as.numeric(dim(x))[1:2]))  
  vec <- is.na(obj.dim)[, 1] & (obj.type != "function")  
  obj.dim[vec, 1] <- napply(names, length)[vec]  
  out <- data.frame(obj.type, obj.size, obj.dim)  
  names(out) <- c("Type", "Size", "Rows", "Columns")  
  out <- out[order(out[[order.by]], decreasing=decreasing), ]  
  if (head)  
    out <- head(out, n)  
  out  
}

3,修改存储地址

这部分可参考文献1。在xp系统上试了一下,得到的存储地址总是不变,不知道xp系统上有没有效...

4,选取数据集的子集

这是没有办法的办法,迟早要处理全部的数据,不过可以借此调试代码或是建模,如在合适的地方清理中间对象

5,写成脚本文件

Hadley Wickham 建议写成脚本文件,运行后再清理掉临时文件

6,使用SOAR包

它可以将特定对象存储为RData文件并无需加载到内存就能进行分析

?
1
2
3
4
5
6
7
8
9
r = data.frame(a=rnorm(10,2,.5),b=rnorm(10,3,.5))  
library(SOAR)  
Sys.setenv(R_LOCAL_CACHE=”testsession”)  
ls()  
Store(r)  
ls()  
mean(r[,1])  
r$c = rnorm(10,4,.5)  
ls()

7,一个有趣的函数

它会告诉你哪一行的代码消耗了多少时间、内存,释放多少内存,复制了多少向量.

?
1
2
3
4
5
6
library(devtools)  
devtools::install_github("hadley/lineprof")  
library(lineprof)  
source("D:/test/test.R")  
prof <- lineprof(test("D:/test/testcsv"))  
shine(prof)

以上为个人经验,希望能给大家一个参考,也希望大家多多支持服务器之家。如有错误或未考虑完全的地方,望不吝赐教。

原文链接:https://blog.csdn.net/lww1993/article/details/91449923

延伸 · 阅读

精彩推荐
  • R语言R studio 批量注释的快捷方式

    R studio 批量注释的快捷方式

    这篇文章主要介绍了R studio 批量注释的快捷方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    JasonKQLin13342022-01-04
  • R语言R语言中c()函数与paste()函数的区别说明

    R语言中c()函数与paste()函数的区别说明

    这篇文章主要介绍了R语言中c()函数与paste()函数的区别说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    yiyu_j11152022-01-12
  • R语言R语言创建矩阵的实现方法

    R语言创建矩阵的实现方法

    这篇文章主要介绍了R语言创建矩阵的实现方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随...

    hjk_caesar9462021-12-27
  • R语言R语言编程学习绘制动态图实现示例

    R语言编程学习绘制动态图实现示例

    这篇文章主要介绍了R语言编程学习绘制动态图实现示例,有需要的的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪...

    微小冷7652022-01-18
  • R语言R语言可视化存储矢量图实现方式

    R语言可视化存储矢量图实现方式

    这篇文章主要为大家介绍了R语言存储矢量图的实现方式过程,有需要的朋友可以借鉴参考下,希望能够有所你帮助,祝大家多多进步,早日升职加薪...

    Kanny广小隶9392022-01-20
  • R语言R语言-使用ifelse进行数据分组

    R语言-使用ifelse进行数据分组

    这篇文章主要介绍了R语言-使用ifelse进行数据分组,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    小力丸12042022-01-10
  • R语言R语言绘制散点图实例分析

    R语言绘制散点图实例分析

    在本篇文章里小编给大家整理的是一篇关于R语言绘制散点图实例分析内容,有需要的朋友们可以学习下。...

    w3cschool6942022-01-06
  • R语言聊聊R语言中Legend 函数的参数用法

    聊聊R语言中Legend 函数的参数用法

    这篇文章主要介绍了聊聊R语言中Legend 函数的参数用法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    Gavin姓陈6352021-12-28