京橋のバイオインフォマティシャンの日常

データ分析、コマンドライン、プログラミングについての技術資料・自己アップデート・悩み事などをまとめています。最近、ディープラーニング関連のR言語の資料をまとめるべく注力してます。

Mac

MacOSXターミナルでのbz2形式の圧縮・解凍についてまとめてみた件

(adsbygoogle = window.adsbygoogle || []).push({}); .bz2について bzip2では、 圧縮効率を良くするために、ブロックソート法などを用いています。 gzipやzipといったデータ圧縮に比べて、より高い圧縮率を示します。 また、bz2単独では、アーカイブ機能は…

Homebrew を使って、Python 3.9 をインストールしたときの設定諸々 〜インストール先が「/opt/homebrew/bin」になってるよ!!〜

(adsbygoogle = window.adsbygoogle || []).push({}); はじめに(2022年1月アップデート版) Homebrewで、Python3をインストールする際の諸設定をまとめてみました。 この記事では、Anacondaを使わずに、 Homebrewでインストールして、ターミナル上から、Py…

Mac版のSRA-toolkitのprefetchコマンドを使用して、SRA(Sequence Read Archive)ファイルをダウンロードしてみた件

(adsbygoogle = window.adsbygoogle || []).push({}); SRA Toolkitの設定 SRA Toolkitの設定は、以前の記事を参考のこと。 skume.net prefetchコマンドについて prefetchは、SRA(Sequence Read Archive)、dbGaP、ADSPデータのコマンドライン・ダウンロードを…

R/ShortReadパッケージを使って、FASTQ形式ファイルを読み込む

(adsbygoogle = window.adsbygoogle || []).push({}); はじめに 今回は、MacOSX環境で、SRA Toolkitのfastq-dumpを用いて取得した、 FASTQ形式ファイルをRに読み込む方法を扱う。 FASTQ形式ファイルの読み込みには、 Bioconductorパッケージの1つである、 Sh…

Macで、DS_Storeとか、Rの隠しファイルをバッチファイル(.command)で削除するTips

Macで、フォルダごとファイルをアップロードしたときに、 一緒についてくる隠しファイルが邪魔と感じたことがあるのではないだろうか。 この記事では、シェル(sh)スクリプトのバッチ処理で、 DS_Storeとか、R関連の隠しファイルを削除するやり方を紹介する…

MacでPower Point(パワポ)ファイル(.pptx)を展開して、xmlファイル、画像メディアなどの構成ファイルを見る方法 〜パワポファイルがクラッシュしたときにも使える〜

今回、やることは、タイトルの通りである。 パワポファイル(.pptx)は、ZIPファイルを解凍する要領で、 スライドに対応する XMLファイル、relsファイルや画像ファイルなどに分解して 各構成ファイルを確認することができる。 これは、パワポファイルがクラ…

R言語で『eval + parse + paste関数』を使って、文字列をRプログラムとして実行するTips

はじめに R言語では、文字列をRの命令文として実行することができる。 このプログラム実行のやり方は、 「eval + parse + text + paste」型と表現されることがあるが、 実際には、eval関数、parse関数、paste関数を組み合わせて実行する。 使用する関数群の…

Mac Homebrewで、pandocのインストール

R/Knitで、bibtexのリファレンスの処理ができなくなったと思ったら、pandocが消えてるっぽい。 Pandocというのは、文書作成ツール や出版作業時に用いられるドキュメント・コンバータの1つであり、、、、 なので、pandocを再度インストールしてみた。 pando…

Mac Homebrewで、AWS CLIをインストールする

Amazon Web Services(AWS)とは、 Amazon.comにより提供されているクラウドコンピューティングサービスである。 今回、AWSサービスを管理するための統合ツールである、 AWS CLIのインストールとかセットアップについてまとめてみた。 まずは、ターミナルを…

Mac OSX / Finder上で隠しファイルを表示されるショートカット

Macのショートカットで、隠しファイル( . から始まるファイルやフォルダ)の表示・非表示を切り替えることができる。 Finderで表示したいフォルダを選択して、 ⌘(コマンド) + Shift + . (ドット) を同時に押すと、隠しファイルが表示される。 また、隠しフ…

【R言語での画像処理シリーズ(その2)】主成分分析(PCA)を用いて、画像特徴の次元圧縮をやってみた件

今回は、Karhunen-Loève変換(KL変換)という手法を使って、 ヒマワリ画像の圧縮を行ってみた*1。 この手法のデフォルトでは、 主成分分析(PCA; Principal Component Analysis)をクロップ画像に適用することで、一度、画像を主成分ベクトルに変換する。 その後…

【R言語での画像処理シリーズ(その1)】R/EBImageとかを使った画像処理(読み込み、表示、リサイズetc)をやってみた件

(adsbygoogle = window.adsbygoogle || []).push({}); はじめに 今回は、EBImageとimagerを使った、 R環境での画像処理をいろいろと紹介する。 具体的に、画像ファイルの読み込み・表示、 ヒストグラム表示、グレー画像変換、リサイズ(縮小)とかのプログラム…

R/rtweetとか諸々を使って、つぶやきのテキスト解析 (形態素分析 + 感情分析) をやってみた件

(adsbygoogle = window.adsbygoogle || []).push({}); はじめに twitterのつぶやきを集めて、形態素分析 + 感情分析をやってみた。 つぶやきの感情分析は、単語感情極性対応表を使って、positiveかnegativeかを評価してみた。やってみると、案外、面白かった…

【LINUX/Macの基本コマンド③】lsコマンドの使い方メモ

LINUX/Macのコマンドライン入門を目指したポストです。 lsコマンド(list segments)は、ディレクトリにあるファイルやフォルダの名前を表示するUNIXコマンドである。 今回は、代表的なオプションの使い方をまとめてみた。 あと、MacOSXでは動作確認をしている…

まさに、Chromeでのタブ管理・収納の女神「OneTab」を使ってみた件

OneTab は、ブラウザで開いている沢山のタブをワンクリックでリスト化、 またはリストを復元・共有できてしまう神的ツールである。 日頃から、沢山のタブを開いたままにして、ブラウザが重くて仕方ないという状況には効果テキメンである。 OneTab自体はGoogl…

こういうキラーアプリを探していた!!重複ファイルを検索・削除するツール dupeguru を使ってみた件

今回は、コンピュータ上の重複ファイルを検索するツール「dupeguru」の紹介記事である。 ファイル名またはコンテンツのいずれかをスキャンして、 重複したファイルを見つけて削除することができる。 コンテンツのスキャンでは、kbオーダーでのサイズ差分を検…

洒落乙 htop でタスクマネージをやってみた件

今回は、ターミナル・タスクマネージャーであるhtopの紹介記事である。 htopのインストール MacOSXとCentOSでのCUIインストール方法は、 ターミナルを起動して、以下のコマンドを打つだけである。 #MacOSXの場合 brew install htop #CentOSの場合 yum instal…

pdflatexが必要になって、久々にMacTexをインストールしてみた件

(adsbygoogle = window.adsbygoogle || []).push({}); はじめに OSをクリーンインストールすると、色々と消えてて面倒である。 本記事は、消えたその1つである、MacTexをインストールした時の話である。 Homebrewをインストールして、ターミナルで以下を実…

「Devel版R の Dockerイメージ for Bioconductor」を使ってみた件

Devel版R(あるいは、R-devel)は、 パッケージ開発者用に配布されていて、 最新(安定版)の次のRバージョンである。 Bioconductorのページを参考にして、 Devel版RのDockerイメージを使ってみたので、その方法をメモしておく。 bioconductor.org Mac版 Docke…

R言語のRSeleniumを使って、ブラウザ(自動)操作とWebスクレイピングをやってみた件 〜Google検索でのトップヒットページ・ヒット件数・スクショの取得〜

(adsbygoogle = window.adsbygoogle || []).push({}); (adsbygoogle = window.adsbygoogle || []).push({}); はじめに RでのWebスクレイピングのやり方の1つとして、rvestパッケージを使う方法がある。 詳細は、過去の記事を参照 skume.net skume.net ただ…

R/Slack APIの諸設定、slackrの使い方、及びGoogle scholarで検索された新着論文情報を知らせるTips

RのSlack APIであるslackrパッケージの使い方について、いろいろとまとめてみた*1。 APIの諸設定、基本的なslackrの使い方に加えて、新着論文情報をRからチャネルに送信するプログラムも実装してみた。 まずは、Salck API設定の手順からはじめよう。 Salck A…

Mac PyMolで使う基本コマンドラインのまとめ

PyMOLは、オープンソースの分子グラフィックスツールである。 いまも、教育版(Educational-use-only PyMOL)は、以下のフォームで登録すれば、フリーで使用できるらしい。 pymol.org 少し前にまとめた資料であるが、PyMolコマンドのメモとしてアップしてお…

RからのKaggleコマンド実行のTips 〜コンペ一覧・データセット取得・submitなどを一通りやってみた。Predictionはまた今度で編〜

(adsbygoogle = window.adsbygoogle || []).push({}); はじめに Kaggle(読み方は「ケグル」??、どうも「カグル」らしい)は、世界中のデータサイエンティストや統計分析者がその最適モデルを競い合う、予測モデリング及び分析手法関連プラットフォームで…

Macターミナル・コマンドのショートカットメモ

(削除) ショートカットキー 1文字の削除 DeleteCtrl (Control) + h 1単語の削除 Ctrl + w カーソル位置から行頭まで削除 Ctrl + u カーソル位置から行末まで削除 Ctrl + k カーソル上の1文字削除 Ctrl + d Terminal logをクリーンする Command + k (履…

Mac brew で、pythonの古いバージョンを管理するときのTips 〜「python3」から「python」にコマンド名を書き換える〜

(adsbygoogle = window.adsbygoogle || []).push({}); はじめに pythonの古いバージョン(例えば、3.8とか)をインストールしたいとき、 パッケージのlinkをしないと、それが使えなくなっている。 今回、python3.8をbrewでインストールして、パッケージのlin…

Mac版 JAVAバージョン切り替えメモ : Java 14 から 12 への切り替え

Mac PC内に、Java 14 と 12 が混在している状況で、Java 14 からJava 12にパスを切り替えるメモ書き。 #現在のJava パス which java #/usr/bin/java # Javaのバージョン確認 => java 14 が使用されている java -version #java version "14" 2020-03-17 #Java…

Curl コマンドで、MacターミナルからSPARQLクエリを実行してみる 〜Wikidata、大阪市オープンデータを扱ってみた件〜

SPARQL(スパークル)は、RDF(Resource Description Framework)問合せ言語の1つである。SPARQL言語、SPARQLクエリとも呼ばれる。 主に、RDF形式のLinked Data / ナレッジグラフ、またはオープンなライセンスで公開されているOpen Linked Data (LOD)、*1の検…

これから「Mac版ImageJ/Fiji」はHomeBrewでインストールしよう!!

(adsbygoogle = window.adsbygoogle || []).push({}); はじめに 最近ではMacOS Xのフォルダ/ファイルのアクセス制限から、Fijiのインストールすら、不便になってきた。 Fiji(Fiji)のHPから、アプリをダウンロードしてきたのだが、「read-only」のエラーが…

Macのスティッキーズ.appが飛んだ時の対処について

.DS_Store を消していたら、Macの設定がいろいろと消えてしまった*1。。。なんてこった!! 現在、MacOS X 10.15.7を使っているが、スティッキーズのデータ復旧が以前のバージョンとやや変わっているようた。 実際、~/Libraryに、StickiesDatabase というの…

画像解析関連のRパッケージについて調査してみた件 〜ANTsRNetを用いた、RにおけるU-NETの実装事例〜

今回、画像処理・画像解析に関するRパッケージを調査したので、見つかったパッケージを(広く浅く)紹介する。 調査対象は、CRAN、Bioconductor、Neuroconductor (= GitHub/CRAN) とかで、検索キーワードは、imag(e), microscop(y) あたりで調べた。 あと、…