京橋のバイオインフォマティシャンの日常

南国のビーチパラソルの下で、Rプログラムを打ってる日常を求めて、、Daily Life of Bioinformatician in Kyobashi of Osaka

R言語

【Mac/R/wgetコマンド】NCBIのE-utilitiesサービスを使って、RefSeqのFASTAファイルをダウンロードするTipsについて

はじめに NCBI RefSeqのFTPサイトについて NCBIのE-utilitiesサービスを使った、RefSeqのダウンロード方法について 枯草菌(Bacillus subtilis)のRefSeqのダウンロード実行について 枯草菌について Bacillus subtilis subsp. subtilis str. 168 complete ge…

【R言語と画像認識】学習済みAIモデルを使って、顔認識がサクサクできた話

Rで顔認識をやってみた話 顔認識の関連パッケージをセットアップする 男性画像に対する顔認識の検証 顔認識後に、顔部分をクロップ(切り出す)する 女性の画像を用いた顔認識の検証実験 まとめ 参考 - 顔認識 Rで顔認識をやってみた話 ふと思い立って調べてみ…

【R言語と文字認識】R環境で、OCR(光学文字認識)をやってみると、やはりの結果だった件

はじめに tesseract::ocr関数を使った、画像からの文字起こし OCR関連パッケージのセットアップ 文字認識して、英語を抽出する場合: 英文字のみ 文字認識して、日本語を抽出する場合: その1 日本語文字のみ 文字認識して、日本語を抽出する場合: その2 日本…

【R言語と米国株】S&P500指数が年初6ヶ月でマイナス20%以上だった年の後半戦、そして翌年はどうなるのか?

2007年9月-と2021年12月-の2つの GSPCプロットの重ね合わせ(2022年9月19日アップデート) Rコード: 2つのGSPCプロットの重ね合わせ 年初より続く、S&P500指数の下落はかなり稀だった件 消費者物価指数(CPI)についての注釈 1970-1971年のS&P500指数のチャ…

【R言語とオープンデータ】アメリカ地質調査所が提供する世界中の地震データを地図表示してみた件 〜初心者でもできるオープンデータを使った世界地図の簡単プロット〜

はじめに オープンデータの関連記事 アメリカ地質調査所、および同研究所が提供する世界で発生した地震データのスプレッドシート 過去1日地震データのスプレッドシートURL 過去7日地震データのスプレッドシート 過去30日地震データのスプレッドシート leafle…

R環境で小説のテキストマイニングをやってみたら、○○○な結末になった件【その4: テキストマイニングと形態素のワードクラウド】

はじめに: 『R環境で小説のテキストマイニング』の連載シリーズ 連載シリーズの目次 まずは、実行環境 形態素のワードクラウドに関するイントロダクション RMeCab形態素解析済みの結果の読み込み .Rdsをロードする場合 .txtをロードする場合 ワードクラウド…

【R言語/速度論/数値計算】10倍量のヨーグルトを作りながら、乳酸菌の増殖曲線を考えてみた件

この記事は、2020年6月13日記事のアップデート版です。 はじめに 方法 (1): 10倍量ヨーグルト作製のマテリアル 方法 (2): 10倍量ヨーグルトの作製プロトコール 結果: 種菌の増殖曲線の検討 まとめ 参考文献 はじめに 最近、ヨーグルト作りにハマっていま…

R環境で小説のテキストマイニングをやってみたら、○○○な結末になった件【その3: 形態素解析と複合語抽出 (名詞、接頭辞、接尾辞の品詞ルールベース抽出、pytermextract)】

はじめに: 『R環境で小説のテキストマイニング』の連載シリーズです。 連載シリーズの目次 実行環境 名詞、接頭辞、接尾辞をくっつける、品詞のルールベースの複合語抽出 pytermextractを使った複合語抽出 ターミナル環境上での、pytermextractを使った複合…

R環境で小説のテキストマイニングをやってみたら、○○○な結末になった件【その2: 形態素解析と辞書設定】

はじめに: 『R環境で小説のテキストマイニング』の連載シリーズです。 連載シリーズの目次 実行環境 形態素解析と辞書設定 mecabを使った形態素解析 MeCabの辞書設定 辞書による形態素解析結果の違い デフォルトのipadic辞書を使った場合 neologd辞書を使っ…

R環境で小説のテキストマイニングをやってみたら、○○○な結末になった件【その1: 夏目漱石の小説「坊っちゃん」を使った、テキストの前処理編】

はじめに 連載シリーズの目次 実行環境 1. 青空文庫、対象小説の紹介 夏目 漱石が執筆した小説の無料公開リスト 2. 「坊っちゃん」のテキストの前処理 処理したテキストの保存 まとめ テキスト処理の関連記事 参考資料 はじめに テキストマイニングは、簡単…

R言語でのデンドログラム(樹形図)と階層的クラスタリングの諸事【その1 hclustとheatmap.2での階層的クラスタリング】

はじめに パーマー群島(南極大陸)のペンギンさんのデータを活用する hclust関数での階層的クラスタリング ウォード法(ward.D)を使用する場合 ウォードD2法(ward.D2)を使用する場合 最近隣法(single)を使用する場合 群平均法(average)を使用する場合 McQuit…

R/rtweetを使って、Twitterでつぶやくための基本的な関数『post_tweet』のこと

はじめに rtweetパッケージのインストール テキストをつぶやく 画像をつぶやく まとめ 補足 全てのフレンドのフォローを辞めるTips 闇を消そう、、Twitterのポストを全削除するTips 闇からの開放企画(v2): ユーザーが行った「いいね」をすべて削除するTips…

【Rのジミ〜な小技シリーズ】エクセルデータをクリップボードにコピーして、Rのread.table関数でデータフレームとして読み込むTips

エクセルデータをクリップボードにコピーしてR環境に読み込む コピーしたセルがヘッダーを含む場合 コピーしたセルがヘッダーを含まない場合 追記(2020年6月10日): マークダウンなどでテーブル出力 【Rのジミ〜な小技シリーズ】 参考資料 エクセルデータを…

R言語/Webスクレイピングで、Wikipediaページのテーブル情報からNASDAQ-100の銘柄リストを取得して、2021年中の株価推移を見てみた件

はじめに NASDAQ-100のWikipediaページ、Rでの下準備 NASDAQ-100 使用するパッケージの事前準備 Wikipediaページからの銘柄リストの取得 NASDAQ-100 NASDAQ-100銘柄の年間パフォーマンスをアニメーションにする 1年間のパフォーマンス ツリーマップのアニメ…

Rで、デフォルトパッケージ以外のパッケージを削除するTips

特定パッケージだけを削除する方法 R環境での実行例 補足: 他の関数群 特定パッケージだけを削除する方法 Rのデフォルトパッケージを残して、 追加でインストールしたパッケージだけを削除する方法をメモしておく。 パッケージがいろいろと増えてくると、 パ…

R言語/rstudio 初心者におすすめ入門本・参考書: 厳選 5 選+α !!

はじめに R言語のおすすめ入門本 5 選 + アルファを紹介!! 改訂2版 RユーザのためのRStudio[実践]入門〜tidyverseによるモダンな分析フローの世界 R言語ではじめるプログラミングとデータ分析 Rでらくらくデータ分析入門 ~効率的なデータ加工のための基礎…

R/ShortReadパッケージを使って、FASTQ形式ファイルを読み込む

はじめに 関連パッケージの読み込み SRA Toolkit / fastq-dump コマンドを使って、FASTQファイルを取得する。 FASTQファイルの読み込み リード長を取り出す方法 クオリティスコアを可視化する サイクルごとにクオリティスコアを可視化する まとめ ゲノム解析…

R/Keras/TensorFlowでやる『ディープラーニング(Deep Learning)』のすゝめ【その3】敵対的生成ネットワーク (GAN)による教師なし画像生成(image generation)をやってみた件

はじめに 関連パッケージのインストール・ロード ministデータセットをダウンロードする 7のみのデータを抽出して、アレイ形式に変換してノーマライズする 生成器モデル (1) Generatorモデル (生成器モデル)の作成(1) Discriminatorモデル (識別器モデル)の…

Bioconductor/BioImageDbsパッケージの使い方〜深層学習用の画像アレイデータを取得する〜

画像アレイデータを提供するexperimentHubパッケージ BioImageDbsのインストール BioImageDbsのデータセット表示 画像アレイデータのダウンロード (1) EM_id0001_Brain_CA1_hippocampus_region (2) LM_id0001_DIC_C2DH_HeLa 画像アレイデータを提供するexper…

【R言語での画像処理シリーズ(その2)】主成分分析(PCA)を用いて、画像特徴の次元圧縮をやってみた件

序章 関連パッケージのインストール ひまわり画像をwikipediaからダウンロードして表示する Imageクラスを「行列」に変換する RGB成分を3D表示する ヒマワリ画像を64x64ピクセルでクロップ(分割)する 主成分分析(PCA)、累積寄与率の計算と可視化 PCA結果の…

【R言語での画像処理シリーズ(その1)】R/EBImageとかを使った画像処理(読み込み、表示、リサイズetc)をやってみた件

はじめに パッケージのインストール ひまわり画像をwikipediaからダウンロードして表示する RGB画像をヒストグラムで表示する グレー画像をヒストグラムで表示する RGB画像を各成分に分離して、各画像を表示する フィルターを変えて、画像の縮小を行い、結果…

R/rtweetとか諸々を使って、つぶやきのテキスト解析 (形態素分析 + 感情分析) をやってみた件

はじめに rtweetの諸設定から もし「Error in default_cached_auth():」がでた時の対処 米国株をクエリに呟きを検索してみる。 つぶやきの形態素解析 単語感情極性対応表を使った感情分析 全つぶやきで、感情分析してみる。 まとめ 補足 M1 Macでのmecabのイ…

R言語で使用できるデータセット一覧 〜 R package ‘datasets’ version 4.1.0 〜

はじめに データセット一覧 Documentation for package ‘datasets’ version 4.1.0 参考資料 【Rのジミ〜な小技シリーズ】 R言語 入門について関連図書 RStudio 入門書 はじめに 2021年4月現在、R言語で使用できるデータセット一覧をまとめてみた。 概要の和…