京橋のバイオインフォマティシャンの日常

南国のビーチパラソルの下で、Rプログラムを打ってる日常を求めて、、Daily Life of Bioinformatician in Kyobashi of Osaka

2021-01-01から1年間の記事一覧

【Rでの文字列処理シリーズ(その3)】文字列/テキストの検出・検索: 完全一致、部分一致、拡張正規表現、曖昧一致判定

はじめに テキスト処理の関連記事 下準備について 【1】完全一致で、その文字列を含むかどうかのの判定 比較演算子 == != base::match、stringr::str_match、演算子 %in% 【2】部分一致で、その文字列を含むかどうかの判定 charmatch関数、pmatch関数 grep…

R言語のRSeleniumを使って、ブラウザ(自動)操作とWebスクレイピングをやってみた件 〜Google検索でのトップヒットページ・ヒット件数・スクショの取得〜

はじめに 事前セットアップ Webブラウザのダウンロード Webブラウザ操作用ドライバーのインストール Javaのインストール selenium.jarのダウンロード・実行 RSeleniumの使い方 - ブラウザ操作の基本 Google検索とか情報取得とかをやってみる 検索結果を取得…

gtrendsRの使い方 と Googleトレンドの情報取得・可視化をやってみた件

はじめに gtrendsRなどの関連パッケージのインストール gtrendsの使い方 代表的な国コード gtrendsのシンプルな実行例 実行例(1)NASDAQのトレンドを国別で12ヶ月分取得して、折れ線プロットを描く 実行例(2)NASDAQ銘柄のトレンドを、米国(US)で12ヶ月…

R/Slack APIの諸設定、slackrの使い方、及びGoogle scholarで検索された新着論文情報を知らせるTips

はじめに : R版Slack API Salck API設定の手順 1. Slackのワークスペースに、任意のチャネルを作る。(必要なら) 2. Slack アプリを新規作成する 3. Incomming WebhooksをActiveにする 4. Bot User OAuth Tokenの取得、OAuth & Permissionsの設定 5. Slack ア…

【R・ビッグデータ解析の処方箋】Rで、10万ノードを超える大きなネットワーク図を描画するTips 〜 igraph::plot.igraphは使い物にならない件 〜

はじめに graphics::plot.defaultによるネットワーク図の作成例 グラフ・ノード数による描画時間の比較 実行時間の可視化 まとめ 参考資料 はじめに Rでのネットワーク図の作成では、igraph packageがよく使われる。 ただ、igraphによるネットワーク図の描写…

【Rでの文字列処理シリーズ(その2)】文字列ベクトルの連結と文字列長のカウント

はじめに テキスト処理の関連記事 下準備について 【1】文字列ベクトルの連結 base::paste0 関数・ stringr::str_c 関数 stringr::str_c 関数 【2】文字列長のカウント base::nchar 関数 stringr::str_length 関数 ・ stringr::str_count 関数 補足 format…

【Rでの文字列処理シリーズ(その1)】テキストファイルの読み込み・文字列の分割

はじめに テキスト処理の関連記事 下準備について テキストファイルの読み込み について 【1】テキストファイルを1行ごと読み込んで、ベクトルにする。 【2】テキストファイルを文字列で読み込んで、ベクトルにする。 【3】テキストファイルを読み込んで…

MacOSXでやってはいけないコマンド実行、やったら初期化は逃れないかも 〜.DS_Storeファイルが邪魔なのですべて消してみた件〜

序章 Macでやってはいけないコマンド実行 序章 この記事の内容を実行してしまったばっかりに、 Mac PCのクリーンアップ(初期化)を余儀なくされても、 一切保証できるものではありませんので、あしからず。 先日、.DS_Storeファイルが無性に邪魔に感じて、 …

Mac PyMolで使う基本コマンドラインのまとめ

PyMOLは、オープンソースの分子グラフィックスツールである。 いまも、教育版(Educational-use-only PyMOL)は、以下のフォームで登録すれば、フリーで使用できるらしい。 pymol.org 少し前にまとめた資料であるが、PyMolコマンドのメモとしてアップしてお…

【R言語で作成するアニメーション】データ分布のアニメーション 〜正規分布編〜

正規分布に従うデータのアニメーション 実行したスクリプト 補足 累積分布関数 コルモゴロフ・スミルノフ検定 Q-Qプロット 正規分布に従うデータのアニメーション 正規分布に従うデータ(乱数)を、異なるサンプルサイズで準備して、 それらデータについて、…

文字コード変換のLINUXコマンド 〜文字化け変換、シングルバイト文字、マルチバイト文字、JIS、Shift_JIS、UTF-8、BOM付きUTF-8、Unicodeエスケープ文字、URLエンコードなどの諸問題について〜

シングルバイト文字・マルチバイト文字 UTF・BOM Unicodeエスケープ文字・パーセントエンコード文字 nkfコマンドの基本的な使い方 nkfコマンドでの文字コードの変換例 UTF-8からUTF-8(BOM付)への変換 Unicodeエスケープシーケンス形式を日本語文字に変換す…

RからのKaggleコマンド実行のTips 〜コンペ一覧・データセット取得・submitなどを一通りやってみた。Predictionはまた今度で編〜

はじめに Pythonの設定・configについて Kaggleコマンドの使い方 基本的な文法 【1】コンペ一覧の表示①: 全一覧の表示 【2】コンペ一覧の表示②: titanicで検索した一覧の表示 【3】コンペ・ランキングの表示: titanic 【4】コンペ・データセットの表示: …

【LINUX/Macの基本コマンド①】 システム情報、CPU情報、メモリ情報を表示してみる

はじめに システム情報 CPU情報 メモリ情報の確認 LINUX/Macの基本コマンドの関連記事 はじめに このシリーズでは、LINUX/CentOSで使う、基本的なコマンドラインをまとめてみました。 第1回目として、ターミナルコマンドで、 システム情報、CPU情報、メモリ…

最近、CentOS7で、R言語のインストールでややハマった件

はじめに EPELリポジトリをダウンロードする リポジトリの有効・無効を調べる yumに--enablerepo=epelのフラッグを追加する Rのセットアップ 参考資料 はじめに CentOS7でのR言語のインストールにハマったので、メモを残しておく。 結局、デフォルトのまま…

Mac brew で、pythonの古いバージョンを管理するときのTips 〜「python3」から「python」にコマンド名を書き換える〜

pythonの古いバージョンのインストール python@3.8へとlinkを書き換える pythonとpip関連コマンドのエイリアス名を書き換える 補足 pythonの古いバージョンのインストール pythonの古いバージョン(例えば、3.8とか)をインストールしたいとき、 パッケージ…

Mac Dockerインストール後に、docker-compose のバージョンを「1.27.4」から「1.28.4」にアップグレードさせるTips

はじめに docker-compose 1.28.4 をGitHubリポジトリからダウンロード・インストール 【追記 2021/4/13】Mac docker-compose 1.26.2 を 1.27.4 にアップグレードする まとめ はじめに Dockerインストール後に、docker-compose のバージョンが合わないという…

【R・ビッグデータ解析の処方箋】readLines、connection オブジェクトを使って、テキストファイルの1行ずつ読み込みを実行してみた件〜

はじめに 練習ファイルのダウンロード readLinesのダメな実行例 readLinesの実行コード例 まとめ R・ビッグデータ解析の処方箋 関連記事 R言語 お勧め書籍 補足 readLines関数で、10万行の同時読み込み 参考資料 はじめに 現状、数十GB・数百GBといった、…

Mac版 JAVAバージョン切り替えメモ : Java 14 から 12 への切り替え

Javaパスを切り替えるメモ書き 環境変数の設定に関する2パターンの方法 一時的な設定の場合 一時的な設定の場合 設定後の確認 Javaパスを切り替えるメモ書き Mac PC内に、Java 14 と 12 が混在している状況で、Java 14 からJava 12にパスを切り替えるメモ書…

R言語/Webスクレイピングで、Wikipediaページからテーブル情報を取得する 〜日経225、米国ダウ平均株価、S&P500、NASDAQ-100とかの銘柄リストを取得して、株価も見てみた件〜

はじめに 各銘柄リストのWikipediaページ、Rでの下準備 日経平均株価(日経225) 米国ダウ平均株価 30銘柄 (Dow Jones Industrial Average) NASDAQ-100 S&P500 S&P100 使用するパッケージの事前準備 Wikipediaページからの銘柄リストの取得 日経平均株価(日…

【SPARQLとオープンデータ】Curl コマンドで、MacターミナルからSPARQLクエリを実行してみる 〜Wikidata、大阪市オープンデータを扱ってみた件〜

はじめに curl コマンドを用いたSPARQL実行の基本形 実施例①-1: WikidataでのSPRQLクエリ 〜データサイエンスの下位概念〜 実施例①-2: WikidataでのSPRQLクエリ 〜データサイエンスの上位概念〜 SPARQL_Example01.command 実施例②: WikidataでのSPRQLクエリ …

【Rのジミ〜な小技シリーズ】フォルダ・ディレクトリの作成・削除・コピー・名前変更 〜フォルダが存在しない時にだけ作成を実行する〜

はじめに フォルダ・ディレクトリの作成・削除・コピー・名前変更 フォルダの作成・削除について フォルダのコピー・フォルダ削除(file.removeで消せない時の対応) フォルダ名を変更する 複数階層のフォルダを作成する フォルダが存在しない時にだけ、フォ…

これから「Mac版ImageJ/Fiji」はHomeBrewでインストールしよう!!

はじめに brewコマンドでのfijiのインストール はじめに 最近ではMacOS Xのフォルダ/ファイルのアクセス制限から、Fijiのインストールすら、不便になってきた。 Fiji(Fiji)のHPから、アプリをダウンロードしてきたのだが、「read-only」のエラーが出て、F…

Macのスティッキーズ.appが飛んだ時の対処について

.DS_Store を消したら悲劇が。。。 解決策。。。 まとめ .DS_Store を消したら悲劇が。。。 .DS_Store を消していたら、Macの設定がいろいろと消えてしまいました*1。。。なんてこった!! 現在、MacOS X 10.15.7を使っていますが、スティッキーズのデータ復…