京橋のバイオインフォマティシャンの日常

南国のビーチパラソルの下で、Rプログラムを打ってる日常を求めて、、Daily Life of Bioinformatician in Kyobashi of Osaka

R - Webスクレイピング

【R言語と株価プロット】S&P500インデックス (SPY: SPDR S&P500 ETF) と仮想通貨(ビットコイン/BTC、イーサリアム/ETH) の季節性変動(Seasonality)を考えてみた件

はじめに seasonalityPlotパッケージを用いた季節変動性のプロット 関連パッケージのインストール SPYチャートの季節変動性プロット ビットコイン・チャートの季節変動性プロット イーサリアム・チャートの季節変動性プロット R言語/quantmodを用いた、SPYチ…

R環境で小説のテキストマイニングをやってみたら、○○○な結末になった件【その1: 夏目漱石の小説「坊っちゃん」を使った、テキストの前処理編】

はじめに 連載シリーズの目次 実行環境 1. 青空文庫、対象小説の紹介 夏目 漱石が執筆した小説の無料公開リスト 2. 「坊っちゃん」のテキストの前処理 処理したテキストの保存 まとめ テキスト処理の関連記事 参考資料 はじめに テキストマイニングは、簡単…

R言語/Webスクレイピングで、Wikipediaページのテーブル情報からNASDAQ-100の銘柄リストを取得して、2021年中の株価推移を見てみた件

はじめに NASDAQ-100のWikipediaページ、Rでの下準備 NASDAQ-100 使用するパッケージの事前準備 Wikipediaページからの銘柄リストの取得 NASDAQ-100 NASDAQ-100銘柄の年間パフォーマンスをアニメーションにする 1年間のパフォーマンス ツリーマップのアニメ…

R/rvestを使って、Google画像検索で画像サムネイルを取得して、機械学習・ディープラーニング用の4次元アレイデータに変換するTips

はじめに パッケージの準備 画像の取得・変換を行う関数の定義 事例1: 「ペルシャ猫」をクエリとした画像検索の結果 事例2: 「広末涼子」をクエリとした画像検索の結果 Webスクレイピングについての関連図書 まとめ 作成したスクリプト English page (Google…

R言語のRSeleniumを使って、ブラウザ(自動)操作とWebスクレイピングをやってみた件 〜Google検索でのトップヒットページ・ヒット件数・スクショの取得〜

はじめに 事前セットアップ Webブラウザのダウンロード Webブラウザ操作用ドライバーのインストール Javaのインストール selenium.jarのダウンロード・実行 RSeleniumの使い方 - ブラウザ操作の基本 Google検索とか情報取得とかをやってみる 検索結果を取得…

R言語/Webスクレイピングで、Wikipediaページからテーブル情報を取得する 〜日経225、米国ダウ平均株価、S&P500、NASDAQ-100とかの銘柄リストを取得して、株価も見てみた件〜

はじめに 各銘柄リストのWikipediaページ、Rでの下準備 日経平均株価(日経225) 米国ダウ平均株価 30銘柄 (Dow Jones Industrial Average) NASDAQ-100 S&P500 S&P100 使用するパッケージの事前準備 Wikipediaページからの銘柄リストの取得 日経平均株価(日…

R言語/Webスクレイピングで、Google サーチ / Google scholar経由で見つかったPDFファイルを自動ダウンロードしてみた件

はじめに ライブラリとかの設定 【初級編】Google サーチのキーワード検索でURL一覧を得る + 全URLをブラウザで開く方法 【初級編】特定のPDFファイルをダウンロードする方法 【一般資料の検索編】Google サーチのキーワード検索でURL一覧(.pdf)を得て、そ…