京橋のバイオインフォマティシャンの日常

南国のビーチパラソルの下で、Rプログラムを打ってる日常を求めて、、Daily Life of Bioinformatician in Kyobashi of Osaka

Webスクレイピング

【R言語とWebスクレイピングとアニメーショングラフ】仮想通貨や株価変動をバー・チャート・レースで観察してみた件【その1 日経225・Nikkei225 編】

はじめに 実行環境 Rパッケージの準備 日経225銘柄のデータ取得 日経225銘柄でのバー・チャート・レース 日経225 上位20銘柄でのバー・チャート・レース作成 日経225 下位20銘柄でのバー・チャート・レース作成 まとめ 参考資料 Rコード: getNikkei225.R は…

【R/binancerとか】仮想通貨の価格を秒速で取得・可視化してみた件

はじめに バイナンス R環境のセットアップ binancerを用いて、仮想通貨の現在価格を取得する coin360.comのテーブル情報から、マーケットキャップなどを取得する バイナンスから仮想通貨の価格変動を取得して、プロットする 3つの仮想通貨(BTC, ETH, BNB)の…

【R言語と株価プロット】S&P500インデックス (SPY: SPDR S&P500 ETF) と仮想通貨(ビットコイン/BTC、イーサリアム/ETH) の季節性変動(Seasonality)を考えてみた件

はじめに seasonalityPlotパッケージを用いた季節変動性のプロット 関連パッケージのインストール SPYチャートの季節変動性プロット ビットコイン・チャートの季節変動性プロット イーサリアム・チャートの季節変動性プロット R言語/quantmodを用いた、SPYチ…

【R言語とオープンデータ】アメリカ地質調査所が提供する世界中の地震データを地図表示してみた件 〜初心者でもできるオープンデータを使った世界地図の簡単プロット〜

はじめに オープンデータの関連記事 アメリカ地質調査所、および同研究所が提供する世界で発生した地震データのスプレッドシート 過去1日地震データのスプレッドシートURL 過去7日地震データのスプレッドシート 過去30日地震データのスプレッドシート leafle…

R環境で小説のテキストマイニングをやってみたら、○○○な結末になった件【その1: 夏目漱石の小説「坊っちゃん」を使った、テキストの前処理編】

はじめに 連載シリーズの目次 実行環境 1. 青空文庫、対象小説の紹介 夏目 漱石が執筆した小説の無料公開リスト 2. 「坊っちゃん」のテキストの前処理 処理したテキストの保存 まとめ テキスト処理の関連記事 参考資料 はじめに テキストマイニングは、簡単…

R言語/Webスクレイピングで、Wikipediaページのテーブル情報からNASDAQ-100の銘柄リストを取得して、2021年中の株価推移を見てみた件

はじめに NASDAQ-100のWikipediaページ、Rでの下準備 NASDAQ-100 使用するパッケージの事前準備 Wikipediaページからの銘柄リストの取得 NASDAQ-100 NASDAQ-100銘柄の年間パフォーマンスをアニメーションにする 1年間のパフォーマンス ツリーマップのアニメ…

R/rvestを使って、Google画像検索で画像サムネイルを取得して、機械学習・ディープラーニング用の4次元アレイデータに変換するTips

はじめに パッケージの準備 画像の取得・変換を行う関数の定義 事例1: 「ペルシャ猫」をクエリとした画像検索の結果 事例2: 「広末涼子」をクエリとした画像検索の結果 Webスクレイピングについての関連図書 まとめ 作成したスクリプト English page (Google…

R言語のRSeleniumを使って、ブラウザ(自動)操作とWebスクレイピングをやってみた件 〜Google検索でのトップヒットページ・ヒット件数・スクショの取得〜

はじめに 事前セットアップ Webブラウザのダウンロード Webブラウザ操作用ドライバーのインストール Javaのインストール selenium.jarのダウンロード・実行 RSeleniumの使い方 - ブラウザ操作の基本 Google検索とか情報取得とかをやってみる 検索結果を取得…

R/Slack APIの諸設定、slackrの使い方、及びGoogle scholarで検索された新着論文情報を知らせるTips

はじめに : R版Slack API Salck API設定の手順 1. Slackのワークスペースに、任意のチャネルを作る。(必要なら) 2. Slack アプリを新規作成する 3. Incomming WebhooksをActiveにする 4. Bot User OAuth Tokenの取得、OAuth & Permissionsの設定 5. Slack ア…

R言語/Webスクレイピングで、Wikipediaページからテーブル情報を取得する 〜日経225、米国ダウ平均株価、S&P500、NASDAQ-100とかの銘柄リストを取得して、株価も見てみた件〜

はじめに 各銘柄リストのWikipediaページ、Rでの下準備 日経平均株価(日経225) 米国ダウ平均株価 30銘柄 (Dow Jones Industrial Average) NASDAQ-100 S&P500 S&P100 使用するパッケージの事前準備 Wikipediaページからの銘柄リストの取得 日経平均株価(日…

R言語/Webスクレイピングで、Google サーチ / Google scholar経由で見つかったPDFファイルを自動ダウンロードしてみた件

はじめに ライブラリとかの設定 【初級編】Google サーチのキーワード検索でURL一覧を得る + 全URLをブラウザで開く方法 【初級編】特定のPDFファイルをダウンロードする方法 【一般資料の検索編】Google サーチのキーワード検索でURL一覧(.pdf)を得て、そ…