京橋のバイオインフォマティシャンの日常

南国のビーチパラソルの下で、Rプログラムを打ってる日常を求めて、、Daily Life of Bioinformatician in Kyobashi of Osaka

【Mac/R/wgetコマンド】NCBIのE-utilitiesサービスを使って、RefSeqのFASTAファイルをダウンロードするTipsについて

はじめに NCBI RefSeqのFTPサイトについて NCBIのE-utilitiesサービスを使った、RefSeqのダウンロード方法について 枯草菌(Bacillus subtilis)のRefSeqのダウンロード実行について 枯草菌について Bacillus subtilis subsp. subtilis str. 168 complete ge…

Mac OSXでよく使う・使ったら便利なショートカット集

Macのショートカット 画面キャプチャー・スクリーンショット Finder上で隠しファイルを表示させる ショートカットキーいろいろ 削除系のショートカットキー 履歴系のショートカットキー カーソルの移動系のショートカットキー 処理系のショートカットキー そ…

Python/パイソン 初心者におすすめ入門本・参考書・AI学習書!!

はじめに シリコンバレー一流プログラマーが教える Pythonプロフェッショナル大全 はじめに この記事では、Pythonに興味を持っている方や、これからPythonプログラミングを始めてみたい方、プログラミングに興味のある学生さんに向けて、Pythonのおすすめ入…

【R言語と画像認識】学習済みAIモデルを使って、顔認識がサクサクできた話

Rで顔認識をやってみた話 顔認識の関連パッケージをセットアップする 男性画像に対する顔認識の検証 顔認識後に、顔部分をクロップ(切り出す)する 女性の画像を用いた顔認識の検証実験 まとめ 参考 - 顔認識 Rで顔認識をやってみた話 ふと思い立って調べてみ…

【R言語と文字認識】R環境で、OCR(光学文字認識)をやってみると、やはりの結果だった件

はじめに tesseract::ocr関数を使った、画像からの文字起こし OCR関連パッケージのセットアップ 文字認識して、英語を抽出する場合: 英文字のみ 文字認識して、日本語を抽出する場合: その1 日本語文字のみ 文字認識して、日本語を抽出する場合: その2 日本…

【R言語と米国株】S&P500指数が年初6ヶ月でマイナス20%以上だった年の後半戦、そして翌年はどうなるのか?

2007年9月-と2021年12月-の2つの GSPCプロットの重ね合わせ(2022年9月19日アップデート) Rコード: 2つのGSPCプロットの重ね合わせ 年初より続く、S&P500指数の下落はかなり稀だった件 消費者物価指数(CPI)についての注釈 1970-1971年のS&P500指数のチャ…

【R言語と株価プロット】S&P500インデックス (SPY: SPDR S&P500 ETF) と仮想通貨(ビットコイン/BTC、イーサリアム/ETH) の季節性変動(Seasonality)を考えてみた件

はじめに seasonalityPlotパッケージを用いた季節変動性のプロット 関連パッケージのインストール SPYチャートの季節変動性プロット ビットコイン・チャートの季節変動性プロット イーサリアム・チャートの季節変動性プロット R言語/quantmodを用いた、SPYチ…

【R言語とオープンデータ】アメリカ地質調査所が提供する世界中の地震データを地図表示してみた件 〜初心者でもできるオープンデータを使った世界地図の簡単プロット〜

はじめに オープンデータの関連記事 アメリカ地質調査所、および同研究所が提供する世界で発生した地震データのスプレッドシート 過去1日地震データのスプレッドシートURL 過去7日地震データのスプレッドシート 過去30日地震データのスプレッドシート leafle…

R環境で小説のテキストマイニングをやってみたら、○○○な結末になった件【その4: テキストマイニングと形態素のワードクラウド】

はじめに: 『R環境で小説のテキストマイニング』の連載シリーズ 連載シリーズの目次 まずは、実行環境 形態素のワードクラウドに関するイントロダクション RMeCab形態素解析済みの結果の読み込み .Rdsをロードする場合 .txtをロードする場合 ワードクラウド…

福岡の旅 x 離島猫 x レトロ港

伝説のラーメン屋 カエルケロケロ寺 福岡市内のベイエリア 離島と はかた湾と 猫島、ねこ、猫、ネコ レトロ港と 街歩きと 最後に、、、 先日は、久々に福岡に行ってきました。まぁ、4ヶ月ぶりくらいなんですが、、、 これまでは学会とか研究会とかの参加で訪…

Mac版wgetコマンドのプログレス・ログ詳細を表示させないTips

はじめに - 問題提起 Googleドライブからのファイルダウンロード デフォルトログ表示への対策 R言語でのwget実行 参考資料 はじめに - 問題提起 wgetコマンドを使ってたら、そのデフォルトログが冗長で嫌になりませんか?? 今回の記事では、その対策として…

【R言語/速度論/数値計算】10倍量のヨーグルトを作りながら、乳酸菌の増殖曲線を考えてみた件

この記事は、2020年6月13日記事のアップデート版です。 はじめに 方法 (1): 10倍量ヨーグルト作製のマテリアル 方法 (2): 10倍量ヨーグルトの作製プロトコール 結果: 種菌の増殖曲線の検討 まとめ 参考文献 はじめに 最近、ヨーグルト作りにハマっていま…

【特集】AIプログラミング学習サービス、無料講座 & 無料カウンセリング受講

今後、日本で深刻化するAI人材不足 AIプログラミングの要「Python」の人気が止まらない!! 保有スキルランキングで人気上昇中、Pythonエンジニアの平均年収は? 無料講座や無料カウンセリング 初心者からAIエンジニアへ!オンラインAIプログラミングスクー…

データサイエンスを活用したビジネス戦略・データコンサルの厳選書籍

はじめに データサイエンス・データコンサルのおすすめ書籍 イシューからはじめよ ― 知的生産の「シンプルな本質」 シン・ニホン AI×データ時代における日本の再生と人材育成 マーケティングリサーチとデータ分析の基本 コンサル一年目が学ぶこと まとめ は…

R環境で小説のテキストマイニングをやってみたら、○○○な結末になった件【その3: 形態素解析と複合語抽出 (名詞、接頭辞、接尾辞の品詞ルールベース抽出、pytermextract)】

はじめに: 『R環境で小説のテキストマイニング』の連載シリーズです。 連載シリーズの目次 実行環境 名詞、接頭辞、接尾辞をくっつける、品詞のルールベースの複合語抽出 pytermextractを使った複合語抽出 ターミナル環境上での、pytermextractを使った複合…

R環境で小説のテキストマイニングをやってみたら、○○○な結末になった件【その2: 形態素解析と辞書設定】

はじめに: 『R環境で小説のテキストマイニング』の連載シリーズです。 連載シリーズの目次 実行環境 形態素解析と辞書設定 mecabを使った形態素解析 MeCabの辞書設定 辞書による形態素解析結果の違い デフォルトのipadic辞書を使った場合 neologd辞書を使っ…

R環境で小説のテキストマイニングをやってみたら、○○○な結末になった件【その1: 夏目漱石の小説「坊っちゃん」を使った、テキストの前処理編】

はじめに 連載シリーズの目次 実行環境 1. 青空文庫、対象小説の紹介 夏目 漱石が執筆した小説の無料公開リスト 2. 「坊っちゃん」のテキストの前処理 処理したテキストの保存 まとめ テキスト処理の関連記事 参考資料 はじめに テキストマイニングは、簡単…

M1 Mac環境で、flash2を使ってペアエンドfastqをマージしてみた件

はじめに FLASHの原著論文 今回のzsh実行環境 M1 Macにおけるflash2のインストール flash2によるペアエンドfastqのマージ実行 GAGEからペアエンドのfastqデータを取得する まとめ ゲノム解析の関連記事 参考資料 補足 FASTQ形式からFASTA形式への変換 - sed…

R言語でのデンドログラム(樹形図)と階層的クラスタリングの諸事【その1 hclustとheatmap.2での階層的クラスタリング】

はじめに パーマー群島(南極大陸)のペンギンさんのデータを活用する hclust関数での階層的クラスタリング ウォード法(ward.D)を使用する場合 ウォードD2法(ward.D2)を使用する場合 最近隣法(single)を使用する場合 群平均法(average)を使用する場合 McQuit…

2022年も残りほぼ6ヶ月、今年の振り返りと後半戦に向けて京橋ブログの展望

雑談 2022年残りのTo Do 雑談 相変わらず、夕暮れと共に、京橋界隈を徘徊しています。飲み屋の客引き、お姉さんらに、もう顔を覚えられてるというレベルです。バイオインフォの香りよりも、酒の香りが漂っている、大阪・京橋。 先日、コロナ禍中行けなかった…

R/rtweetを使って、Twitterでつぶやくための基本的な関数『post_tweet』のこと

はじめに rtweetパッケージのインストール テキストをつぶやく 画像をつぶやく まとめ 補足 全てのフレンドのフォローを辞めるTips 闇を消そう、、Twitterのポストを全削除するTips 闇からの開放企画(v2): ユーザーが行った「いいね」をすべて削除するTips…

M1チップ搭載の MacBook Air におけるAutoDock Vina (1.2.2) の諸設定とドッキングシミュレーションについて

はじめに - AutoDock Vina 原著論文 - AutoDock Vina - 今回やること セットアップ brewの設定 brewコマンドを用いたパッケージのセットアップ Autodock Vina 1.2.2のセットアップ AutoDock Vinaのチュートリアル「basic_docking」を実行してみる 実行時のコ…

【Rのジミ〜な小技シリーズ】変数で、データフレームに「任意の列名」を追加するTips

はじめに データフレームの列名を追加する 文字列の変数で、データフレームの列名を追加する はじめに pasteなどで連結して作成した文字列をもとにして、それらをデータフレームの列名にしたい。 そういうケースがよくあるのです。 食わず嫌い的に試して無か…

【Rのジミ〜な小技シリーズ】エクセルデータをクリップボードにコピーして、Rのread.table関数でデータフレームとして読み込むTips

エクセルデータをクリップボードにコピーしてR環境に読み込む コピーしたセルがヘッダーを含む場合 コピーしたセルがヘッダーを含まない場合 追記(2020年6月10日): マークダウンなどでテーブル出力 【Rのジミ〜な小技シリーズ】 参考資料 エクセルデータを…

grepコマンドで文字列処理をやってみた件【その2】検索語のヒット数カウントとか検索語の前後文字の抽出とか色々

はじめに まずは、サンプルデータをダウンロードする 検索語に一致した文字列のみを抜き出して出力する 大文字・小文字を区別せず、検索語に一致した文字列のみを抜き出して出力する 検索語に一致した文字列の数をカウントする【部分一致検索】 検索語に一致…

grepコマンドで文字列処理をやってみた件【その1】ファイル内のテキストに対する処理とか

はじめに 練習用のファイルのダウンロード ファイル内のテキストに対する処理 ある特定の文字列を含む行を表示する ある特定の文字列を含まない行を表示する ある特定の文字列を含まない行を別ファイルに出力する 空白行を削除する ファイル内の行数をカウン…

htmlwidgets for R のShowcaseにあるパッケージがCodePenでブログ表示できるかを調べた件

はじめに とりあえず、結果 表示結果 Leaflet Dygraphs networkD3 d3heatmap DataTables MetricsGraphics まとめ はじめに htmlwidgets for R パッケージは、Rでインタラクティブな図が作成できる王道的なパッケージであり、 それを使った色々な依存パッケー…

MacOSXターミナルでのbz2形式の圧縮・解凍についてまとめてみた件

.bz2について bzip2コマンドによるbzip2圧縮 bzip2圧縮を行い、任意のファイル名で保存する場合 bunzip2コマンドによるbzip2解凍 .tar.bz2について tarコマンドによるtar.bz2圧縮 tarコマンドによるtar.bz2解凍 .bz2について bzip2では、 圧縮効率を良くする…

R/Keras/TensorFlowでやる『ディープラーニング(Deep Learning)』のすゝめ【その2】教師なしニューラルネットワーク Autoencoder with 2D CNNの実装、そして色ムラ・ノイズ除去(Denoising)をやってみた件

はじめに R/Kerasのセットアップ MNISTデータの準備 Autoencoder with 2D CNN のモデル構築 ちょっとした関数の説明 DLモデルの出力 結果の評価 色ムラに対するDenoising Autoencoder 色ムラがある手書き文字の生成 Autoencoder for denoising モデルの構築 …

Homebrew を使って、Python 3.9 をインストールしたときの設定諸々 〜インストール先が「/opt/homebrew/bin」になってるよ!!〜

はじめに(2022年1月アップデート版) Homebrew でPython3をインストールする。 実行環境 Homebrew で、Python3 をインストールする Pythonパスを確認する 次にやること・・・パスの優先度の変更 /opt/homebrew/binのエイリアス名を変える まとめ Python …