當前位置:編程學習大全網 - 編程軟體 - r如何解決讀取大數據集時內存不足的問題,使用Linux有什麽有效的方法嗎?

r如何解決讀取大數據集時內存不足的問題,使用Linux有什麽有效的方法嗎?

相對簡單粗暴的方法是在fread中設置nrows參數。

r所有讀取數據的函數都有兩個參數,nrows和skip。妳可以寫壹個循環,分段讀壹個文件,跳過之前讀過的,用nrows控制最大讀行數,防止內存不足。

分段後在本地寫文件,用rm消除較大的變量,用gc()釋放這部分內存。

-優點是簡單粗暴,多平臺可用。缺點是真的很慢...

如果可能的話,建議申請壹個服務器來運行。比如學生可以問導師有沒有大規模計算的服務器。

另外,Unix系統的內存限制確實比Windows好,可惜不知道正確的打開方法QAQ。

  • 上一篇:按鍵精靈怎麽設定自動按鍵
  • 下一篇:編譯原理文法
  • copyright 2024編程學習大全網