京橋のバイオインフォマティシャンの日常

南国のビーチパラソルの下で、Rプログラムを打ってる日常を求めて、、Daily Life of Bioinformatician in Kyobashi of Osaka

Mac

【LINUX/Macの基本コマンド⑧】圧縮ファイルを解凍せずに、ファイル一覧やファイルの中身を閲覧するコマンドについて【zip/gz編】

はじめに 実行環境 まずは、ファイルを圧縮する 解凍せずに、zipファイルに含まれるファイル一覧を表示する 解凍せずに、gzファイルの中身を閲覧する 解凍せずに、gzファイルの中身を部分的に閲覧する まとめ 参考資料 はじめに Linux/Mac環境では圧縮された…

【LINUX/Macの基本コマンド⑦】df/duコマンドで、ディスクの空き容量・使用量を知ろう

はじめに 実行環境 dfコマンドの実行例 duコマンドの実行例 まとめ はじめに dfとduという、2つのコマンドを紹介します。 ハードディスクの容量監視をする上で、重要なコマンドなので、ぜひ知っておこう。 dfコマンドはディスクの空き領域を知るコマンド、 …

【LINUX/Macの基本コマンド⑥】chmodコマンドで、ファイルモード(ファイル権限など)を変更する

はじめに lsコマンドで、現在のパーミッション設定を表示する ファイルのアクセス権限の見方について 全てのユーザーに実行権限(a+x)を追加する 他ユーザーの実行権限(o-x)を削除する 3つの数字列で、アクセス権限を与える ディレクトリ下のすべてのフォルダ…

シーケンスリードのクオリティコントロール解析: fastqc、MultiQC、quack、fastpの基本設定と使い方

はじめに 実行環境 テストデータのダウンロード 関連記事 Javaの設定: スキップ可です fastqcの使い方 Fastqcのインストール Fastqcの基本動作 Fastqcの実行 fastqcレポートの見方 fastqcの原著 MultiQCの使い方 MultiQCのインストール MultiQCの実行 MultiQ…

【R言語と時系列解析】Prophetパッケージを利用した、時系列データの未来予測: ブログ利用者数の推移予測とか、ビットコインや日経225の価格トレンド推移予測とか

はじめに 実行環境 Prophetのデータフォーマット 関連パッケージの準備 ブログ利用ユーザー数の推移を未来予測する 過去14日間の訪問ユーザー数(y_14day列)を使って、ブログ利用ユーザー数の推移を予測する 他のプロット方法について 過去28日間の訪問ユーザ…

【R言語と仮想通貨】ビットコイン(BTC)の長期トレンド解析について

はじめに パッケージ準備 ビットコインの長期チャートデータについて 長期の移動平均から、BTCの経験的な底値が分かるかも?? 長期の加重移動平均線(WMA)から、BTCの経験的な底値が分かるかも WMAの長期トレンドを網掛け(ポリゴン)表示について SMAの長期ト…

Grep command for string processing (1) Processing of text in a file and other

About grep command Processing of text in files Show lines with a certain string Show lines without the certain string Output lines without a certain string as an alias file Delete blank lines Count the number of lines in a file Searching f…

【R/binancer】バイナンス仮想通貨の上昇傾向銘柄を検出して、Twitterにポストするボット機能を作成してみた件

はじめに R環境のセットアップ binancerを用いて、バイナンス仮想通貨のシンボル情報を取得する 上昇傾向にある、バイナンス仮想通貨・アルトコインの探索と可視化を行うプログラム 仮想通貨・ビットコイン・アルトコインについて(1) 仮想通貨・アルトコイ…

【R/binancerとか】仮想通貨の価格を秒速で取得・可視化してみた件

はじめに バイナンス R環境のセットアップ binancerを用いて、仮想通貨の現在価格を取得する coin360.comのテーブル情報から、マーケットキャップなどを取得する バイナンスから仮想通貨の価格変動を取得して、プロットする 3つの仮想通貨(BTC, ETH, BNB)の…

【Mac/R/wgetコマンド】NCBIのE-utilitiesサービスを使って、RefSeqのFASTAファイルをダウンロードするTipsについて

はじめに NCBI RefSeqのFTPサイトについて NCBIのE-utilitiesサービスを使った、RefSeqのダウンロード方法について 枯草菌(Bacillus subtilis)のRefSeqのダウンロード実行について 枯草菌について Bacillus subtilis subsp. subtilis str. 168 complete ge…

Mac OSXでよく使う・使ったら便利なショートカット集

Macのショートカット 画面キャプチャー・スクリーンショット Finder上で隠しファイルを表示させる ショートカットキーいろいろ 削除系のショートカットキー 履歴系のショートカットキー カーソルの移動系のショートカットキー 処理系のショートカットキー そ…

M1 Mac環境で、flash2を使ってペアエンドfastqをマージしてみた件

はじめに FLASHの原著論文 今回のzsh実行環境 M1 Macにおけるflash2のインストール flash2によるペアエンドfastqのマージ実行 GAGEからペアエンドのfastqデータを取得する まとめ ゲノム解析の関連記事 参考資料 補足 FASTQ形式からFASTA形式への変換 - sed…

R/rtweetを使って、SNS/Twitterでつぶやくための基本的な関数『post_tweet』のこと

はじめに rtweetパッケージのインストール テキストをつぶやく 画像をつぶやく まとめ 補足 全てのフレンドのフォローを辞めるTips 闇を消そう、、Twitterのポストを全削除するTips 闇からの開放企画: ユーザーが行った「いいね」をすべて削除するTips rtwee…

M1チップ搭載の MacBook Air におけるAutoDock Vina (1.2.2) の使い方とドッキングシミュレーションについて

はじめに - AutoDock Vina 原著論文 - AutoDock Vina - 今回やること セットアップ brewの設定 brewコマンドを用いたパッケージのセットアップ Autodock Vina 1.2.2のセットアップ AutoDock Vinaのチュートリアル「basic_docking」を実行してみる 実行時のコ…

【Rのジミ〜な小技シリーズ】エクセルデータをクリップボードにコピーして、Rのread.table関数でデータフレームとして読み込むTips

エクセルデータをクリップボードにコピーしてR環境に読み込む コピーしたセルがヘッダーを含む場合 コピーしたセルがヘッダーを含まない場合 追記(2020年6月10日): マークダウンなどでテーブル出力 【Rのジミ〜な小技シリーズ】 参考資料 エクセルデータを…

grepコマンドで文字列処理をやってみた件【その2】検索語のヒット数カウントとか検索語の前後文字の抽出とか色々

はじめに まずは、サンプルデータをダウンロードする 検索語に一致した文字列のみを抜き出して出力する 大文字・小文字を区別せず、検索語に一致した文字列のみを抜き出して出力する 検索語に一致した文字列の数をカウントする【部分一致検索】 検索語に一致…

grepコマンドで文字列処理をやってみた件【その1】ファイル内のテキストに対する処理とか

はじめに 練習用のファイルのダウンロード ファイル内のテキストに対する処理 ある特定の文字列を含む行を表示する ある特定の文字列を含まない行を表示する ある特定の文字列を含まない行を別ファイルに出力する 空白行を削除する ファイル内の行数をカウン…

MacOSXターミナルでのbz2形式の圧縮・解凍についてまとめてみた件

.bz2について bzip2コマンドによるbzip2圧縮 bzip2圧縮を行い、任意のファイル名で保存する場合 bunzip2コマンドによるbzip2解凍 .tar.bz2について tarコマンドによるtar.bz2圧縮 tarコマンドによるtar.bz2解凍 .bz2について bzip2では、 圧縮効率を良くする…

Homebrew を使って、Python 3.9 をインストールしたときの設定諸々 〜インストール先が「/opt/homebrew/bin」になってるよ!!〜

はじめに(2022年1月アップデート版) Homebrew でPython3をインストールする。 実行環境 Homebrew で、Python3 をインストールする Pythonパスを確認する 次にやること・・・パスの優先度の変更 /opt/homebrew/binのエイリアス名を変える まとめ Python …

Mac版のSRA-toolkitのprefetchコマンドを使用して、SRA(Sequence Read Archive)ファイルをダウンロードしてみた件

SRA Toolkitの設定 prefetchコマンドについて prefetchの基本形 prefetchの代表的なオプション 複数のSRAファイルを一度にダウンロードする 補足 シェルスクリプトで、複数のFASTA形式ファイル(+ gz圧縮)をダウンロードする。 ゲノム解析の関連記事 参考資…

R/ShortReadパッケージを使って、FASTQ形式ファイルを読み込む

はじめに 関連パッケージの読み込み SRA Toolkit / fastq-dump コマンドを使って、FASTQファイルを取得する。 FASTQファイルの読み込み リード長を取り出す方法 クオリティスコアを可視化する サイクルごとにクオリティスコアを可視化する まとめ ゲノム解析…

Macで、DS_Storeとか、Rの隠しファイルをバッチファイル(.command)で削除するTips

はじめに .commandのバッチファイルを作成する shスクリプトをコピペする .commandファイルに実行権限を与える 補足: chmodの使い方 はじめに Macで、フォルダごとファイルをアップロードしたときに、 一緒についてくる隠しファイルが邪魔と感じたことがある…

MacでPower Point(パワポ)ファイル(.pptx)を展開して、xmlファイル、画像メディアなどの構成ファイルを見る方法 〜パワポファイルがクラッシュしたときのファイル修復・普及に使える〜

前書き 解凍ソフトウェアのインストール ファイルの拡張子をpptxからzipに変更する The Unarchiverでzipファイルに展開する 同じ名前のフォルダが解凍されると、ほぼ完了である。 まとめ 前書き 今回、やることは、タイトルの通りである。 パワポファイル(.…

R言語で『eval + parse + paste関数』を使って、文字列をRプログラムとして実行するTips

はじめに 使用する関数群の概要 paste関数 parse関数 eval関数 「eval + parse + text + paste」型の実装例 (1) 基本形 「eval + parse + text + paste」型の実装例 (2) assign関数を使う まとめ 参考資料 はじめに R言語では、文字列をRの命令文として実行…

Macで、RをTerminalコマンドでアンインストールするときにやること

Mac版Rのアンイストールについての諸事 「4.2 Uninstalling under macOS」の原文 Mac版Rのアンイストールについての諸事 Mac版Rは、GUI(R.APP)とR frameworkから構成されている。 そのため、アンイストール時には、それらフォルダを削除する。 一般的なイ…

Mac Homebrewで、pandocのインストール

はじめに pandocのインストール はじめに R/Knitで、bibtexのリファレンスの処理ができなくなったと思ったら、pandocが消えてるっぽい。 Pandocというのは、文書作成ツール や出版作業時に用いられるドキュメント・コンバータの1つであり、、、、 なので、p…

Mac Homebrewで、AWS CLIをインストールする

はじめに AWS CLIのインストール AWS CLIの各種設定 AWSサーバーにアクセスして、ファイルをアップロードする。 補足 CentOSでの AWS cli のインストール 以下のRequestTimeTooSkewedエラーが出たら、PCの時計がズレているかも。。。 参考資料 関連図書 はじ…

【R言語での画像処理シリーズ(その2)】主成分分析(PCA)を用いて、画像特徴の次元圧縮をやってみた件

序章 関連パッケージのインストール ひまわり画像をwikipediaからダウンロードして表示する Imageクラスを「行列」に変換する RGB成分を3D表示する ヒマワリ画像を64x64ピクセルでクロップ(分割)する 主成分分析(PCA)、累積寄与率の計算と可視化 PCA結果の…

【R言語での画像処理シリーズ(その1)】R/EBImageとかを使った画像処理(読み込み、表示、リサイズetc)をやってみた件

はじめに パッケージのインストール ひまわり画像をwikipediaからダウンロードして表示する RGB画像をヒストグラムで表示する グレー画像をヒストグラムで表示する RGB画像を各成分に分離して、各画像を表示する フィルターを変えて、画像の縮小を行い、結果…

R/rtweetとか諸々を使って、つぶやきのテキスト解析 (形態素分析 + 感情分析) をやってみた件

はじめに rtweetの諸設定から もし「Error in default_cached_auth():」がでた時の対処 米国株をクエリに呟きを検索してみる。 つぶやきの形態素解析 単語感情極性対応表を使った感情分析 全つぶやきで、感情分析してみる。 まとめ 補足 M1 Macでのmecabのイ…