現状、数十GB・数百GBといった、大きなファイルを扱う際には、R/メモリ上で全データを読み込むことはややリスキーである。 ファイル全体を読み込まず、ファイル内の１行ずつで処理を実施する工夫が必要となる。*1 Rで、１行ずつの処理を実行するには、readLi…

【R・ビッグデータ解析の処方箋①】readLines、connection オブジェクトを使って、テキストファイルの１行ずつ読み込みを実行してみた件〜

今までほぼやってなかったけど、さっき使ってみて思いの外便利だったので、今後はこれを使いたいと強いメッセージを込めて、これのみでメモっておく。 まずは、エクセルの任意のセルを選択して、command + c でコピーする。 Rを起動して、以下のコマンドを打…

【Rのジミ〜な小技シリーズ】エクセルのセルをコピーして、クリップボードのまま、Rのread.tableでデータフレームとして直接読み込む時の方法

最近、数GBを超えるテキストデータを扱うようになり、今更ながら、Rのファイル読み込み関数の速度比較について一度検討してみた。 今回、以下の３つのファイル読み込み関数について調査してみた。 utils::read.table関数 data.table::fread関数 readr::read_…

【R言語】データサイズ・行数が異なるテキストファイルにおけるファイル読み込み関数の速度比較