京橋のバイオインフォマティシャンの日常

まずは、データ分析、コマンドラインのメモとして

Mac

【Rでの画像処理シリーズ(その1)】R/EBImageとかを使った画像処理(読み込み、表示、リサイズetc)をやってみた件

今回は、EBImageとimagerを使った、 R環境での画像処理をいろいろと紹介する。 具体的に、画像ファイルの読み込み・表示、 ヒストグラム表示、グレー画像変換、リサイズ(縮小)とかのプログラムを作成・実行してみた。 はじめに、EBImageとimagerをセットアッ…

R/rtweetとか諸々を使って、つぶやきのテキスト解析 (形態素分析 + 感情分析) をやってみた件

twitterのつぶやきを集めて、形態素分析 + 感情分析をやってみた。 つぶやきの感情分析は、単語感情極性対応表を使って、positiveかnegativeかを評価してみた。やってみると、案外、面白かった。 まずは、Rの関連パッケージをインストールしてみる。 #インス…

【LINUX/Macの基本コマンド③】lsコマンドの使い方メモ

lsコマンド(list segments)は、ディレクトリにあるファイルやフォルダを表示するUNIXコマンドである。 今回は、代表的なオプションの使い方をまとめてみた。 あと、MacOSXでは動作確認をしているが、 LINUXはちょっとオプションが違う場合があるかも。 ls コ…

まさに、Chromeでのタブ管理・収納の女神「OneTab」を使ってみた件

OneTab は、ブラウザで開いている沢山のタブをワンクリックでリスト化、 またはリストを復元・共有できてしまう神的ツールである。 日頃から、沢山のタブを開いたままにして、ブラウザが重くて仕方ないという状況には効果テキメンである。 OneTab自体はGoogl…

こういうキラーアプリを探していた!!重複ファイルを検索・削除するツール dupeguru を使ってみた件

今回は、コンピュータ上の重複ファイルを検索するツール「dupeguru」の紹介記事である。 ファイル名またはコンテンツのいずれかをスキャンして、 重複したファイルを見つけて削除することができる。 コンテンツのスキャンでは、kbオーダーでのサイズ差分を検…

洒落乙 htop でタスクマネージをやってみた件

今回は、ターミナル・タスクマネージャーであるhtopの紹介記事である。 htopのインストール MacOSXとCentOSでのCUIインストール方法は、 ターミナルを起動して、以下のコマンドを打つだけである。 #MacOSXの場合 brew install htop #CentOSの場合 yum instal…

pdflatexが必要になって、久々にMacTexをインストールしてみた件

OSをクリーンインストールすると、色々と消えてて面倒である。 本記事は、消えたその1つである、MacTexをインストールした時の話である。 Homebrewをインストールして、ターミナルで以下を実行する。 skume.net brew update brew install mactex #実行時に…

「Devel版R の Dockerイメージ for Bioconductor」を使ってみた件

Devel版R(あるいは、R-devel)は、 パッケージ開発者用に配布されていて、 最新(安定版)の次のRバージョンである。 Bioconductorのページを参考にして、 Devel版RのDockerイメージを使ってみたので、その方法をメモしておく。 bioconductor.org Mac版 Docke…

R言語のRSeleniumを使って、ブラウザ(自動)操作とWebスクレイピングをやってみた件 〜Google検索でのトップヒットページ・ヒット件数・スクショの取得〜

RでのWebスクレイピングのやり方の1つとして、rvestパッケージを使う方法がある。 詳細は、過去の記事を参照 skume.net skume.net ただ、このパッケージだと、Webスクレイピングがやや難解なケースがある。 実際、Google検索のヒット件数項目を取得するのを…

R/Slack APIの諸設定、slackrの使い方、及びGoogle scholarで検索された新着論文情報を知らせるTips

RのSlack APIであるslackrパッケージの使い方について、いろいろとまとめてみた*1。 APIの諸設定、基本的なslackrの使い方に加えて、新着論文情報をRからチャネルに送信するプログラムも実装してみた。 まずは、Salck API設定の手順からはじめよう。 Salck A…

MacOSXでやってはいけないコマンド実行、やったら初期化は逃れないかも 〜.DS_Storeファイルが邪魔なのですべて消してみた件〜

この記事の内容を実行してしまったばっかりに、 Mac PCのクリーンアップ(初期化)を余儀なくされても、 一切保証できるものではありませんので、あしからず。 先日、.DS_Storeファイルが無性に邪魔に感じて、 Mac内にある同ファイルすべてを消してみたのだ…

Mac PyMolで使う基本コマンドラインのまとめ

PyMOLは、オープンソースの分子グラフィックスツールである。 いまも、教育版(Educational-use-only PyMOL)は、以下のフォームで登録すれば、フリーで使用できるらしい。 pymol.org 少し前にまとめた資料であるが、PyMolコマンドのメモとしてアップしてお…

RからのKaggleコマンド実行のTips 〜コンペ一覧・データセット取得・submitなどを一通りやってみた。Predictionはまた今度で編〜

Kaggle(読み方は「ケグル」??、どうも「カグル」らしい)は、世界中のデータサイエンティストや統計分析者がその最適モデルを競い合う、予測モデリング及び分析手法関連プラットフォームである*1。 この記事では、Terminalを使わずに、R上からすべてのKag…

Macターミナル・コマンドのショートカットメモ

(削除) ショートカットキー 1文字の削除 DeleteCtrl (Control) + h 1単語の削除 Ctrl + w カーソル位置から行頭まで削除 Ctrl + u カーソル位置から行末まで削除 Ctrl + k カーソル上の1文字削除 Ctrl + d Terminal logをクリーンする Command + k (履…

Mac brew で、pythonの古いバージョンを管理するときのTips 〜「python3」から「python」にコマンド名を書き換える〜

pythonの古いバージョン(例えば、3.8とか)をインストールしたいとき、 パッケージのlinkをしないと、それが使えなくなっている。 今回、python3.8をbrewでインストールして、パッケージのlinkをやり直して、 コマンド名を「python」に書き換えるまでをやっ…

Mac版 JAVAバージョン切り替えメモ : Java 14 から 12 への切り替え

Mac PC内に、Java 14 と 12 が混在している状況で、Java 14 からJava 12にパスを切り替えるメモ書き。 #現在のJava パス $ which java /usr/bin/java # Javaのバージョン確認 => java 14 が使用されている $ java -version java version "14" 2020-03-17 Jav…

Curl コマンドで、MacターミナルからSPARQLクエリを実行してみる 〜Wikidata、大阪市オープンデータを扱ってみた件〜

SPARQL(スパークル)は、RDF(Resource Description Framework)問合せ言語の1つである。SPARQL言語、SPARQLクエリとも呼ばれる。 主に、RDF形式のLinked Data / ナレッジグラフ、またはオープンなライセンスで公開されているOpen Linked Data (LOD)、*1の検…

これから「Mac版ImageJ/Fiji」はHomeBrewでインストールしよう!!

最近ではMacOS Xのフォルダ/ファイルのアクセス制限から、Fijiのインストールすら、不便になってきた。 Fiji(Fiji - ImageJ)のHPから、アプリをダウンロードしてきたのだが、「read-only」のエラーが出て、Fijiのアップデートができない。意味不明である…

Macのスティッキーズ.appが飛んだ時の対処について

.DS_Store を消していたら、Macの設定がいろいろと消えてしまった*1。。。なんてこった!! 現在、MacOS X 10.15.7を使っているが、スティッキーズのデータ復旧が以前のバージョンとやや変わっているようた。 実際、~/Libraryに、StickiesDatabase というの…

画像解析関連のRパッケージについて調査してみた件 〜ANTsRNetを用いた、RにおけるU-NETの実装事例〜

今回、画像処理・画像解析に関するRパッケージを調査したので、見つかったパッケージを(広く浅く)紹介する。 調査対象は、CRAN、Bioconductor、Neuroconductor (= GitHub/CRAN) とかで、検索キーワードは、imag(e), microscop(y) あたりで調べた。 あと、…

【Macの定期メンテナンス】Finderのクイックルック機能、GUIでのファイル・フォルダ移動が遅くなり始めたら、結局これをやること。。

Mac歴が12年以上となるが、Mac PC内の定期メンテナンスは、過去のOSバージョンからも悩ましい問題である。 過去には、ディスクユーティリティをいじってみたり、 ファイルのセグメント化を直してみたりと、 いろいろと試したが、結局あまり効果がない。 Ma…

Mac版wgetでGoogle DriveからファイルをダウンロードするTips〜フォルダの共通設定からwgetコマンド実行まで〜

最近、データを置いておくのに良さそうな公共リポジトリが見つからず、 やっぱ、Google Driveを使うのが無難かなと思いだしたので、その関連記事を書いてみた。 今回、Google Driveをデータリポジトリとして、データを公開して、 コマンドラインでそのデータ…

バーチャルスライドスキャナー画像(.ndpi)からオリジナルTIFFイメージを取り出す際のTips〜ギガバイトイメージの画像解析入門〜

今回、バーチャルスライドスキャナー画像(.ndpi)の取り扱い方を取り上げる。 .ndpiという画像フォーマットは、浜松ホトニクス社が提供するHamamatsu formatの1つである。 NDPIファイルは「独自メタデータを持つシングルファイルTIFF-likeな形式」であり、…

R言語で実行するSudachiPyによる日本語形態素解析

SudachiPyは、日本語形態素解析器SudachiのPython版である。 今回、R/RStudio上でのSudachiPyの実行例を概説する。 個人的には、RユーザーにとってPythonパッケージがR環境上で実行できると、いろいろと良いのでは考えている*1。 例の如く、HomeBrewでPython…

Mac版Dockerで、rocker/rstudio (= RStudio Server Docker Image)をトラブルフリーでセットアップしてみた件

過去の記事で、「【macOS X編】 Homebrewで、RStudio Serverをインストールしてみた件 + nginx設定」を紹介した。 現状、MacローカルでのRstudio Server動作について、 バージョン・アップ等の問題で*1、少々動作が不安定な場合がある。 そのため、ローカル…

Macで、mds_storesのプロセスを消し出したら、Spotlightとの決別のサインかも!?

mds_store というMacのプロセスは、Spotlight のインデクスを作成するプロセスである。これに加えて、mdworkerというプロセスもあり、これらのプロセスが頑張って、Macのファイル検索システムであるSpotlight関連の機能を実現している。 知らず知らずのうち…

grepコマンドで文字列処理をやってみた件【その2】検索語のヒット数カウントとか検索語の前後文字の抽出とか色々

「grepコマンドによる文字列処理をやってみた」の続編である。 以前扱えていなかった内容をやっていきたい。 grepコマンドの基本については過去の記事を参照のこと。 skume.hatenablog.com skume.hatenablog.com まずは、サンプルデータをダウンロードする $…

PubMed API と googletrans を使って、PubMed掲載論文のAbstract和訳をRでやってみた件

論文のトレンド解析であったり、個別の論文情報、主に要旨(Abstract)を取得してみた。 もう少し発展させて、Abstractの英文テキストの和訳をして、Rmarkdownのレポート作成するまでをやってみた。 今回扱う、RISmed パッケージは、PubMedを含むNational Ce…

【Rのジミ〜な小技シリーズ】エクセルのセルをコピーして、クリップボードのまま、Rのread.tableでデータフレームとして直接読み込む時の方法

今までほぼやってなかったけど、さっき使ってみて思いの外便利だったので、今後はこれを使いたいと強いメッセージを込めて、これのみでメモっておく。 まずは、エクセルの任意のセルを選択して、command + c でコピーする。 Rを起動して、以下のコマンドを打…

grepコマンドで文字列処理をやってみた件【その1】ファイル内のテキストに対する処理とか

grepコマンドは、ある特定の文字列を含むものを取り出す・検索するときに使用する。 大別して、ファイル内のテキストに対してgrepを行うか、ファイル名に対してgrepを行うかでやり方が変わってくる。 やってることは単純だが、いろいろと応用できるので、今…