R - ビッグデータ解析の処方箋
はじめに Rでのネットワーク図の作成では、igraph packageがよく使われる。 ただ、igraphによるネットワーク図の描写は、１万ノードを超えたあたりから、結構な時間がかかる。 そのため、１０万ノードを超えるような、大規模なネットワーク図の描画には、ち…
R - ビッグデータ解析の処方箋
R - readLines
R - connection
データ読み込み
R - utils::download.file
Terminalコマンド - cat
テキスト処理
R - repeat
R - while
はじめに 現状、数十GB・数百GBといった、大きなファイルを扱う際には、R/メモリ上で全データを読み込むことはややリスキーである。 ファイル全体を読み込まず、ファイル内の１行ずつで処理を実施する工夫が必要となる。*1 Rで、１行ずつの処理を実行するに…
