京橋のバイオインフォマティシャンの日常

データ分析、コマンドライン、プログラミングについての技術資料・自己アップデート・悩み事などをまとめています。最近、ディープラーニング関連のR言語の資料をまとめるべく注力してます。

Mac

Mac/Homebrewで、AWS CLIをインストールする

Amazon Web Services(AWS)とは、 Amazon.comにより提供されているクラウドコンピューティングサービスである。 今回、AWSサービスを管理するための統合ツールである、 AWS CLIのインストールとかセットアップについてまとめてみた。 まずは、ターミナルを…

Mac OSX / Finder上で隠しファイルを表示されるショートカット

Macのショートカットで、隠しファイル( . から始まるファイルやフォルダ)の表示・非表示を切り替えることができる。 Finderで表示したいフォルダを選択して、 ⌘(コマンド) + Shift + . (ドット) を同時に押すと、隠しファイルが表示される。 また、隠しフ…

Macでのbz2形式への圧縮とbz2形式の解凍

.bz2について bzip2では、 圧縮効率を良くするために、ブロックソート法などを用いている。 gzipやzipといったデータ圧縮に比べて、より高い圧縮率を示す。 また、bz2単独では、アーカイブ機能はない。 Macでは、bzip2コマンドでbzip2圧縮、 bunzip2コマンド…

【R言語での画像処理シリーズ(その2)】主成分分析(PCA)を用いて、画像特徴の次元圧縮をやってみた件

今回は、Karhunen-Loève変換(KL変換)という手法を使って、 ヒマワリ画像の圧縮を行ってみた*1。 この手法のデフォルトでは、 主成分分析(PCA; Principal Component Analysis)をクロップ画像に適用することで、一度、画像を主成分ベクトルに変換する。 その後…

【R言語での画像処理シリーズ(その1)】R/EBImageとかを使った画像処理(読み込み、表示、リサイズetc)をやってみた件

今回は、EBImageとimagerを使った、 R環境での画像処理をいろいろと紹介する。 具体的に、画像ファイルの読み込み・表示、 ヒストグラム表示、グレー画像変換、リサイズ(縮小)とかのプログラムを作成・実行してみた。 はじめに、EBImageとimagerをセットアッ…

R/rtweetとか諸々を使って、つぶやきのテキスト解析 (形態素分析 + 感情分析) をやってみた件

twitterのつぶやきを集めて、形態素分析 + 感情分析をやってみた。 つぶやきの感情分析は、単語感情極性対応表を使って、positiveかnegativeかを評価してみた。やってみると、案外、面白かった。 まずは、Rの関連パッケージをインストールしてみる。 #インス…

【LINUX/Macの基本コマンド③】lsコマンドの使い方メモ

lsコマンド(list segments)は、ディレクトリにあるファイルやフォルダを表示するUNIXコマンドである。 今回は、代表的なオプションの使い方をまとめてみた。 あと、MacOSXでは動作確認をしているが、 LINUXはちょっとオプションが違う場合があるかも。 ls コ…

まさに、Chromeでのタブ管理・収納の女神「OneTab」を使ってみた件

OneTab は、ブラウザで開いている沢山のタブをワンクリックでリスト化、 またはリストを復元・共有できてしまう神的ツールである。 日頃から、沢山のタブを開いたままにして、ブラウザが重くて仕方ないという状況には効果テキメンである。 OneTab自体はGoogl…

こういうキラーアプリを探していた!!重複ファイルを検索・削除するツール dupeguru を使ってみた件

今回は、コンピュータ上の重複ファイルを検索するツール「dupeguru」の紹介記事である。 ファイル名またはコンテンツのいずれかをスキャンして、 重複したファイルを見つけて削除することができる。 コンテンツのスキャンでは、kbオーダーでのサイズ差分を検…

洒落乙 htop でタスクマネージをやってみた件

今回は、ターミナル・タスクマネージャーであるhtopの紹介記事である。 htopのインストール MacOSXとCentOSでのCUIインストール方法は、 ターミナルを起動して、以下のコマンドを打つだけである。 #MacOSXの場合 brew install htop #CentOSの場合 yum instal…

pdflatexが必要になって、久々にMacTexをインストールしてみた件

OSをクリーンインストールすると、色々と消えてて面倒である。 本記事は、消えたその1つである、MacTexをインストールした時の話である。 Homebrewをインストールして、ターミナルで以下を実行する。 skume.net brew update brew install mactex #実行時に…

「Devel版R の Dockerイメージ for Bioconductor」を使ってみた件

Devel版R(あるいは、R-devel)は、 パッケージ開発者用に配布されていて、 最新(安定版)の次のRバージョンである。 Bioconductorのページを参考にして、 Devel版RのDockerイメージを使ってみたので、その方法をメモしておく。 bioconductor.org Mac版 Docke…

R言語のRSeleniumを使って、ブラウザ(自動)操作とWebスクレイピングをやってみた件 〜Google検索でのトップヒットページ・ヒット件数・スクショの取得〜

RでのWebスクレイピングのやり方の1つとして、rvestパッケージを使う方法がある。 詳細は、過去の記事を参照 skume.net skume.net ただ、このパッケージだと、Webスクレイピングがやや難解なケースがある。 実際、Google検索のヒット件数項目を取得するのを…

R/Slack APIの諸設定、slackrの使い方、及びGoogle scholarで検索された新着論文情報を知らせるTips

RのSlack APIであるslackrパッケージの使い方について、いろいろとまとめてみた*1。 APIの諸設定、基本的なslackrの使い方に加えて、新着論文情報をRからチャネルに送信するプログラムも実装してみた。 まずは、Salck API設定の手順からはじめよう。 Salck A…

MacOSXでやってはいけないコマンド実行、やったら初期化は逃れないかも 〜.DS_Storeファイルが邪魔なのですべて消してみた件〜

この記事の内容を実行してしまったばっかりに、 Mac PCのクリーンアップ(初期化)を余儀なくされても、 一切保証できるものではありませんので、あしからず。 先日、.DS_Storeファイルが無性に邪魔に感じて、 Mac内にある同ファイルすべてを消してみたのだ…

Mac PyMolで使う基本コマンドラインのまとめ

PyMOLは、オープンソースの分子グラフィックスツールである。 いまも、教育版(Educational-use-only PyMOL)は、以下のフォームで登録すれば、フリーで使用できるらしい。 pymol.org 少し前にまとめた資料であるが、PyMolコマンドのメモとしてアップしてお…

RからのKaggleコマンド実行のTips 〜コンペ一覧・データセット取得・submitなどを一通りやってみた。Predictionはまた今度で編〜

Kaggle(読み方は「ケグル」??、どうも「カグル」らしい)は、世界中のデータサイエンティストや統計分析者がその最適モデルを競い合う、予測モデリング及び分析手法関連プラットフォームである*1。 この記事では、Terminalを使わずに、R上からすべてのKag…

Macターミナル・コマンドのショートカットメモ

(削除) ショートカットキー 1文字の削除 DeleteCtrl (Control) + h 1単語の削除 Ctrl + w カーソル位置から行頭まで削除 Ctrl + u カーソル位置から行末まで削除 Ctrl + k カーソル上の1文字削除 Ctrl + d Terminal logをクリーンする Command + k (履…

Mac brew で、pythonの古いバージョンを管理するときのTips 〜「python3」から「python」にコマンド名を書き換える〜

pythonの古いバージョン(例えば、3.8とか)をインストールしたいとき、 パッケージのlinkをしないと、それが使えなくなっている。 今回、python3.8をbrewでインストールして、パッケージのlinkをやり直して、 コマンド名を「python」に書き換えるまでをやっ…

Mac版 JAVAバージョン切り替えメモ : Java 14 から 12 への切り替え

Mac PC内に、Java 14 と 12 が混在している状況で、Java 14 からJava 12にパスを切り替えるメモ書き。 #現在のJava パス $ which java /usr/bin/java # Javaのバージョン確認 => java 14 が使用されている $ java -version java version "14" 2020-03-17 Jav…

Curl コマンドで、MacターミナルからSPARQLクエリを実行してみる 〜Wikidata、大阪市オープンデータを扱ってみた件〜

SPARQL(スパークル)は、RDF(Resource Description Framework)問合せ言語の1つである。SPARQL言語、SPARQLクエリとも呼ばれる。 主に、RDF形式のLinked Data / ナレッジグラフ、またはオープンなライセンスで公開されているOpen Linked Data (LOD)、*1の検…

これから「Mac版ImageJ/Fiji」はHomeBrewでインストールしよう!!

最近ではMacOS Xのフォルダ/ファイルのアクセス制限から、Fijiのインストールすら、不便になってきた。 Fiji(Fiji - ImageJ)のHPから、アプリをダウンロードしてきたのだが、「read-only」のエラーが出て、Fijiのアップデートができない。意味不明である…

Macのスティッキーズ.appが飛んだ時の対処について

.DS_Store を消していたら、Macの設定がいろいろと消えてしまった*1。。。なんてこった!! 現在、MacOS X 10.15.7を使っているが、スティッキーズのデータ復旧が以前のバージョンとやや変わっているようた。 実際、~/Libraryに、StickiesDatabase というの…

画像解析関連のRパッケージについて調査してみた件 〜ANTsRNetを用いた、RにおけるU-NETの実装事例〜

今回、画像処理・画像解析に関するRパッケージを調査したので、見つかったパッケージを(広く浅く)紹介する。 調査対象は、CRAN、Bioconductor、Neuroconductor (= GitHub/CRAN) とかで、検索キーワードは、imag(e), microscop(y) あたりで調べた。 あと、…

【Macの定期メンテナンス】Finderのクイックルック機能、GUIでのファイル・フォルダ移動が遅くなり始めたら、結局これをやること。。

Mac歴が12年以上となるが、Mac PC内の定期メンテナンスは、過去のOSバージョンからも悩ましい問題である。 過去には、ディスクユーティリティをいじってみたり、 ファイルのセグメント化を直してみたりと、 いろいろと試したが、結局あまり効果がない。 Ma…

Mac版wgetでGoogle DriveからファイルをダウンロードするTips〜フォルダの共通設定からwgetコマンド実行まで〜

最近、データを置いておくのに良さそうな公共リポジトリが見つからず、 やっぱ、Google Driveを使うのが無難かなと思いだしたので、その関連記事を書いてみた。 今回、Google Driveをデータリポジトリとして、データを公開して、 コマンドラインでそのデータ…

バーチャルスライドスキャナー画像(.ndpi)からオリジナルTIFFイメージを取り出す際のTips〜ギガバイトイメージの画像解析入門〜

今回、バーチャルスライドスキャナー画像(.ndpi)の取り扱い方を取り上げる。 .ndpiという画像フォーマットは、浜松ホトニクス社が提供するHamamatsu formatの1つである。 NDPIファイルは「独自メタデータを持つシングルファイルTIFF-likeな形式」であり、…

R言語で実行するSudachiPyによる日本語形態素解析

SudachiPyは、日本語形態素解析器SudachiのPython版である。 今回、R/RStudio上でのSudachiPyの実行例を概説する。 個人的には、RユーザーにとってPythonパッケージがR環境上で実行できると、いろいろと良いのでは考えている*1。 例の如く、HomeBrewでPython…

Mac版Dockerで、rocker/rstudio (= RStudio Server Docker Image)をトラブルフリーでセットアップしてみた件

過去の記事で、「【macOS X編】 Homebrewで、RStudio Serverをインストールしてみた件 + nginx設定」を紹介した。 現状、MacローカルでのRstudio Server動作について、 バージョン・アップ等の問題で*1、少々動作が不安定な場合がある。 そのため、ローカル…

Macで、mds_storesのプロセスを消し出したら、Spotlightとの決別のサインかも!?

(adsbygoogle = window.adsbygoogle || []).push({}); mds_store というMacのプロセスは、Spotlight のインデクスを作成するプロセスである。これに加えて、mdworkerというプロセスもあり、これらのプロセスが頑張って、Macのファイル検索システムであるSpot…