AWS MarketplaceでDragenを使用してゲノムをアライメントする
目的
Dragenの性能、料金を実際に使ってみて確認する。
やること
AWS Marketplaceを使ったことがないので使い方を学ぶ。
どのように料金が発生->消滅するのか確認する。
実行日
2018年7月
AWS DRAGENのインストールガイドがあります。このガイドに簡単にDragenを使用できます。このブログはインストールガイドにしたがってDragenをインストールしていき、わからないことや突っかかったことをまとめた
AWS Marketplace製品の起動方法はAWS コンソールからインスタンス起動時に、その製品を選べばよいとのことです。
AWS Marketplace を使用した製品のサブスクライブ
Amazon EC2 起動ウィザード: AMI を検索し、ウィザードからインスタンスを直接起動できます。詳細については、「AWS Marketplace インスタンスの起動」を参照してください。
インスタンス起動->AWS Marketplace->"Dragen"検索で出てきました。
使用可能な３つのリージョンからオレゴンリージョンを選択しました。
Free TrielでDRAGENが１日タダで使えるようです。
価格の内訳がありました。
**Pricing Breakdown:
F1.2xlarge: $10.35 (DRAGEN) + $1.65 (Compute) = $12.00/hr
Per Genome: $12.00hr/0.8 genomes = $15
Per Exome: $12.00hr/5.45 exomes = $2
F1.16xlarge: $22.10 (DRAGEN) + $13.20 (Compute) = $35.30/hr
Per Genome: $35.30hr/1.76 genomes = $20
Per Exome: $35.30hr/12 exomes = $3
Marketplaceを使用する権限がないためエラーになりました。
User: arn:aws:iam::xxxxxxxxxx:user/kchiba-ci is not authorized to perform: aws-marketplace:ViewSubscriptions on resource: *
AWS Marketplace Full Accessを付与してエラーを解消しました。
AWS Marketplace: AWS Marketplace : Help
メモ：１
I started a free trial for a product I purchased on AWS Marketplace but never used the software during the trial period. Can I restart my trial since I didn’t get any use out of it?
試用期間を確認しながらAMIを使用すれば、FreeTrialを超過しないように気をつけられそうです。
メモ：２
You can view your usage in the billing console. Billing will be recorded under the AWS Marketplace section: https://console.aws.amazon.com/billing/home#/
Marketplaceの請求額はコンソールをみて確認すればよいとのことです。簡単です。
とりあえず動かしてみる
こちらをcontinueします。
使用するインスタンスを選択します。
S３からデータをストリーミングでインプットできるようにロールの設定をします。
結果のBAMファイルとかはephemeralに置かれる。940GiBx4サイズがあれば十分。
タグづけは任意とのことなので名前だけつけておく
画面を開くとセキュリティーグループは新規が選択されていて、名前までデフォルトで入力済み。このままセキュリティーグループを作成する。
警告はでてる（いつもの）。キーペアを使うので安全とする。
作成ボタン押下後にキーを設定する。
キーペアを指定する画面がでてくる（いつもの）
既存のキーペアを指定して作成。
作成中の画面です。
起動時間は通常のEC2を立ち上げるのと同じくらいすぐだけど、2/2チェックが１５分くらいかかった。
ssh ログイン後 早速、不穏なログが出力される。
立ち上げたらやること
pip install awscli --upgrade --user
・AWS Configure
リファレンスゲノムの設定。
とりあえずFASTAファイルをダウンロードする。
[centos@ip-172-31-18-26 GRCh37]$ pwd
/ephemeral/GRCh37
[centos@ip-172-31-18-26 GRCh37]$ ls -l GRCh37.fa
-rw-rw-r-- 1 centos centos 3189752728 7月 6 03:58 GRCh37.fa
リファレンスゲノムのHashTableの作成
[centos@ip-172-31-18-26 GRCh37]$ time dragen --ht-reference GRCh37.fa --output-directory /ephemeral/GRCh37 --build-hash-table true
作成完了 13分くらいかかった
DRAGEN finished normally
real 13m18.982s
user 83m34.607s
sys 3m40.037s
リファレンスゲノムのHashTableの作成 RNA version
[centos@ip-172-31-18-26 GRCh37_RNA]$ time dragen --ht-reference GRCh37.fa --output-directory /ephemeral/GRCh37_RNA --build-hash-table true --ht-build-rna-hashtable true
作成完了 ２２分
DRAGEN finished normally
real 22m5.017s
user 128m6.781s
sys 6m34.592s
