データ読み込み
R・ビッグデータ解析の処方箋
R - readLines
R - connection
データ読み込み
R - utils::download.file
Terminalコマンド - cat
テキスト処理
現状、数十GB・数百GBといった、大きなファイルを扱う際には、R/メモリ上で全データを読み込むことはややリスキーである。 ファイル全体を読み込まず、ファイル内の1行ずつで処理を実施する工夫が必要となる。*1 Rで、1行ずつの処理を実行するには、readLi…
今までほぼやってなかったけど、さっき使ってみて思いの外便利だったので、今後はこれを使いたいと強いメッセージを込めて、これのみでメモっておく。 まずは、エクセルの任意のセルを選択して、command + c でコピーする。 Rを起動して、以下のコマンドを打…
R
Terminalコマンド
インタラクティブ図示
テキスト処理
データ読み込み
Terminalコマンド - openssl
Terminalコマンド - tr
Terminalコマンド - seq
R - read.table
R - fread
R - read_csv
最近、数GBを超えるテキストデータを扱うようになり、今更ながら、Rのファイル読み込み関数の速度比較について一度検討してみた。 今回、以下の3つのファイル読み込み関数について調査してみた。 utils::read.table関数 data.table::fread関数 readr::read_…