京橋のバイオインフォマティシャンの日常

南国のビーチパラソルの下で、Rプログラムを打ってる日常を求めて、、Daily Life of Bioinformatician in Kyobashi of Osaka

2020-01-01から1年間の記事一覧

画像解析関連のRパッケージについて調査してみた件 〜ANTsRNetを用いた、RにおけるU-NETの実装事例〜

今回、画像処理・画像解析に関するRパッケージを調査したので、見つかったパッケージを(広く浅く)紹介する。 調査対象は、CRAN、Bioconductor、Neuroconductor (= GitHub/CRAN) とかで、検索キーワードは、imag(e), microscop(y) あたりで調べた。 あと、…

Paperswithcode.com(主にDLモデル・コード、論文、コンペのスコアとかのまとめサイト)にあるComputer-Visionセクションのまとめをしてみた件

はじめに Semantic Segmentation / セマンティック セグメンテーション medical-image-segmentation / 医用画像セグメンテーション Image Classification / 画像分類 Object Detection / 物体検出 Domain Adaptation / ドメイン適応 Image Generation / 画像…

R言語/Webスクレイピングで、Google サーチ / Google scholar経由で見つかったPDFファイルを自動ダウンロードしてみた件

はじめに ライブラリとかの設定 【初級編】Google サーチのキーワード検索でURL一覧を得る + 全URLをブラウザで開く方法 【初級編】特定のPDFファイルをダウンロードする方法 【一般資料の検索編】Google サーチのキーワード検索でURL一覧(.pdf)を得て、そ…

【Macの定期メンテナンス】Finderのクイックルック機能、GUIでのファイル・フォルダ移動が遅くなり始めたら、結局これをやること。。

悩ましいMac PCの定期メンテナンス 定期メンテナンスの実行 まとめ 関連情報 悩ましいMac PCの定期メンテナンス Mac歴が12年以上となるが、Mac PC内の定期メンテナンスは、過去のOSバージョンからも悩ましい問題である。 過去には、ディスクユーティリティ…

Mac版wgetでGoogle DriveからファイルをダウンロードするTips〜フォルダの共通設定からwgetコマンド実行まで〜

はじめに テストファイルの生成 Google Driveの共通フォルダ設定・ファイルアップロード ファイルURLの取得・書き換え wgetでのファイル・ダウンロード 小さいファイルの場合 大きいファイル(100MB以上)の場合 まとめ 補足 gdrive_downloadのスクリプト 参…

【Rのジミ〜な小技シリーズ】空リストの作成とリスト操作、それと空ベクトルを使ったベクトル結合とデータフレーム結合のトピックスを扱う

はじめに 空リストlist()からリストを作成する 空ベクトルc()からベクトルを作成する 空ベクトルc()からデータフレームを作成する %>% (パイプ演算子あるいは単にパイプ)について まとめ はじめに またもや、ジミーなトピックですけど、空リストlist()と空…

【Rのジミ〜な小技シリーズ】データ解析の前処理で悩まされるデータ重複の問題を扱ってみた件

はじめに 練習データの準備 ベクトル内で、データの重複があるかどうか?どう扱うか? 2つのベクトル間で、データの重複があるかどうか?・重複をどう扱うか? データフレーム内で、データの重複があるかどうか?・重複をどう扱うか? まとめ 参考資料 【R…

バーチャルスライドスキャナー画像(.ndpi)からオリジナルTIFFイメージを取り出す際のTips〜ギガバイトイメージの画像解析入門〜

はじめに NDPIToolsのセットアップ NDPIテストファイルのダウンロード ndpisplitコマンドを用いたNDPIファイルの展開 Fiji/ImageJでのCompress TIFFのインポート&エクスポート ImageJマクロでの実行 まとめ ImageJ & 画像解析に関する入門書 補足 Fiji/Image…

【R言語と形態素解析】R環境/reticulateで実行する、Python版Sudachi『SudachiPy』による日本語形態素解析

はじめに 実行環境 SudachiPyのデフォルト・インストール Sudachi 辞書 fullの設定 R環境でのコマンドライン版sudachipyの実行 R環境でのPythonパッケージ版sudachipyの実行 自作関数SudachiTokenizerRについて まとめ 補足 辞書の設定ファイル「sudachi.jso…

Mac版Dockerで、rocker/rstudio (= RStudio Server Docker Image)をトラブルフリーでセットアップしてみた件

概要 Docker for macのインストールについて dockerコマンドの動作確認 rocker/rstudioイメージの検索・ダウンロード rocker/rstudioコンテナのセットアップ 各種dockerコマンドについて コンテナ操作に関するdockerコマンドについて dockerの設定情報 ロー…

【Rのジミ〜な小技シリーズ】ベクトルに「含まれる」「含まれない」要素の取り出し、論理値について

はじめに あるベクトルから他ベクトルに「含まれる要素」あるいは「含まれない要素」を抽出する方法 例1: 共通に含まれている要素を取り出す 例2: 共通に含まれない要素を取り出す ベクトル間で、「すべて」あるいは「いずれか」と一致する関係があるか? …

Macで、mds_stores のプロセスを消し出したら、Spotlightとの決別のサインかも!?

Spotlightとの決別 【関連キーワード】 実行環境 & mds_storesのプロセスの止め方 まとめ 関連情報 Spotlightとの決別 mds_store というMacのプロセスは、Spotlight のインデクスを作成するプロセスです。これに加えて、mdworkerというプロセスもあり、これ…

【Rのジミ〜な小技シリーズ】Rのどぎついレインボー・カラーを和らげて、使える色へと変換するTipsについて

はじめに レインボー色(grDevices::rainbow関数)の設定 レインボー・カラー 透明度 FF レインボー・カラー 透明度 80 レインボー・カラー 透明度 60 レインボー・カラー 透明度 40 レインボー・カラー 透明度 20 Rで使える他のカラーパレットについて palet…

【Rのジミ〜な小技シリーズ】時々にしたくなる、Rの古いバージョンのパッケージ(The previous version packages)をインストールする件

はじめに 過去のバージョンのRパッケージをインストールする まとめ 【Rのジミ〜な小技シリーズ】 はじめに Rを使っていると、稀に、パッケージのバージョン違いで問題が起こることがあります。 そのとき、以前の古いバージョンのパッケージをインストールす…

【R言語と学術論文】PubMed API「RISmed」と googletrans を使って、PubMed掲載論文のAbstract和訳をRでやってみた件

はじめに Rパッケージのセットアップ PubMed全体でキーワード検索をやってみる 少し脱線して、年ごとの論文数をまとめてみた 本題に入って、googletransによる論文情報の和訳とレポート作成をやってみる まとめ 全Rコード in gist 補足 MEDLINEタグ情報*5 Pu…

【R言語と日英翻訳】「reticulate」パッケージを使えば、Pythonライブラリがインポート・実行できる。そして、R上で「googletrans」を用いた日英翻訳をやってみた件

はじめに googletransライブラリのメリット・デメリット googletransのインストール reticulateのセットアップ RからPython googletransを呼び出す googletransの実行 まとめ 補足 Rから、Python ライブラリのヘルプ表示 googleLanguageRの「No authorizatio…

R/Keras/TensorFlowでやる『ディープラーニング(Deep Learning)』のすゝめ【その1】教師なしニューラルネットワークDeep Autoencoder のsimple modelをやってみた件

はじめに Keras/TensorFlowのセットアップ 手書き文字MNISTデータセットの用意 Autoencoderのモデル構築 シンプルAutoencoderモデル 01 RStudioセッションの初期化 シンプルAutoencoderモデル 02 シンプルAutoencoderモデル 03 各モデルのlossの比較 …

Mac Jupyterで、RとかPythonとかシェルとかのセットアップをするの巻

はじめに まずは、 ターミナルを立ち上げて、Macの実行環境確認 jupyterの設定 jupyter notebook のインストール jupyter lab のインストール いまさらながら、python2の設定(失敗) Rの設定 ibashの設定 SPARQLの設定 ijsの設定 まとめ 補足 jupyterのipyn…

Macでの圧縮・解凍コマンドをメモっておく件

はじめに LINUX/Macの基本コマンドの関連記事 .zip について zipコマンドによるzip圧縮 unzipコマンドによるzip解凍 .tarについて tarコマンドによるtarアーカイブ化(非圧縮) tarコマンドによるtarアーカイブ解凍 .gzについて gzipコマンドによるgzip圧縮 …

【R言語】データサイズ・行数が異なるテキストファイルにおけるファイル読み込み関数の速度比較

はじめに 実行環境 検証用のファイル生成 opensslコマンドを用いた、ランダム文字列の生成 echoとtrコマンドを用いた文字列の生成 seqコマンドを用いた連番数字の生成 seqコマンドを用いた検証用ファイルの生成 Rでのファイル読み込み検証 utils::read.table…

初心者向け ソフトウェア開発プラットフォーム GitHub API( git & gist コマンド )の使い方入門

はじめに 実行環境 git のインストールとログイン gitのインストール・コマンドの実行 はじめの設定 gitコマンドの使い方 (1)ローカルフォルダ作成からやる場合 1. ローカルリポジトリの初期化 2. .md/code などを作成・編集する 3. インデックスへの…

Rパッケージ探索のための情報サイトをまとめてみた件 〜2020年版〜

はじめに CRAN系 CRAN Task Views The R Journal RWeekly.org CRANberries RStudio系 R Views RStudio Blog RStudio AI Blog Conductor系 Bioconductor Neuroconductor その他 rOpenSci seekR R bloggers Awesome DataCamp はじめに 特に、パッケージユーザ…

【macOS X編】 Homebrewで、RStudio Serverをインストールしてみた件 + nginx設定

この記事で行われるMacローカルでのRStudio Server(RStudioサーバー)の構築法は推奨しておらず(2020年9月13日現在)、この記事に辿り着かれた方は、下記の記事で、Dockerを使ったRStudio Serverの構築法を参照ください。 はじめに macOS X編 RStudio Serv…

2020年版 無料かつ会員登録不要の『データ解析関連のオンライン講座』を調査した件【5/6更新】

調査の背景 (ちょっと脱線)大学の無料公開動画 OCWとか データ解析に必要な素養 データ解析の基礎となる知識 統計学の基礎 確率統計 予備校のノリで学ぶ「大学の数学・物理」 【データの分析が超わかる!】◆分散・標準偏差 (高校数学Ⅰ・A) 看護・保健系…

grepコマンド で基本的なテキスト処理をまとめてみた件

はじめに 前準備 適当な作業フォルダを作成して、同フォルダ内に移動する。 サンプルテキスト(text.txt)をGitHubからダウンロードする まず、test.txt ファイルの中を表示してみると grep コマンド の基本 まずは、ファイル内の文字列操作に関するコマンド…

Homebrewで OpenJDK の特定バージョンをインストールするときのTips

Homebrewのインストール・環境設定のやり方については以前の記事を参考に Java について バージョン対応表 brewを使って、OpenJDK 12 をMacにインストールする方法 AdoptOpenJDK/openjdk の formula を追加する OpenJDK (コマンドでは小文字) を検索しておく…

macOS用パッケージマネージャー Homebrewのやり方をいつも微妙に忘れてしまう件

はじめに 実際のHomebrewの環境構築について概説する。 Homebrew のインストール・環境構築 Terminal を起動する Terminalに以下のコマンドをコピペして実行する Homebrewの事始めに確認しておくこと brewのパスを確認しておく brewに問題がないかをチェック…

以前につくった、『IGOR Pro』の日本語資料

私が以前使っていた、IGOR Proとは、 IGOR PROの使い方(初級編) 初級① IGORの基礎 初級② Table & Graphの作製 課題① Table & Graphの作製 初級③ Graph macroの作製 初級④ Macro if 構文の作製 初級⑤ 回帰直線 初級⑥ 定義関数を用いたデータ解析 初級⑦ デー…

久々に日常をまとめてみる

フィリピン留学の時以来、13年ぶりくらいにブログを始める。 私事ながら、この4月に、ある国立研究所から大学に赴任した。 7年ぶりの大学での研究生活を楽しむのと、最近のパンデミックな情勢で、諸々の雑務がかなり少なくなった。 これも、ちょうど溜ま…