WindowsとLinux間での改行コードの違いによる問題

改行コードの違いから、Perlなどのスクリプトで処理した時、予期せぬところに改行が入ったりすることがあります。

そこで、Linuxの改行コードに変換するcommandを紹介します。

dos2unix ファイル名

でLinuxの改行コードに変換可能です。データは上書きされます。

grep: and / or条件での検索

Linuxのコマンドの１つである「grep」でAND条件・OR条件での検索に関するメモ。

（１）AND検索
パイプ「|」でつなぐことでgrepコマンドのAND検索が可能になります。

grep "chr6:125111" INPUT.txt | grep "1:0:0" > OUTPUT.txt

（２）OR検索
grepのあとの"ダブルクオーテーション"内に検索したいキーワード（もしくは正規表現）を記述しますが、キーワード（例えばA\|B）の間を「\|」(バックスラッシュとバーティカルバー)で区切ることで、OR検索が可能になります（例えばAもしくはB）。

grep "chr6:125111\|chr6:125112" INPUT.txt > OUTPUT.txt

ディスクの容量に困ったらファイルを圧縮しておこう

大規模データを処理していると、あっという間にディスクの容量を食います。そのため、どうにかしてディスクの容量を抑える必要があります。昔解析したデータを順次消していくというのが手っ取り早い方法かも知れませんが、過去に解析したデータを残しておきたいケースもあると思います。

そこで、以下の圧縮率が高い「bzip2」形式での圧縮方法を紹介。

ディレクトリごと圧縮・解凍する方法

#圧縮
tar -cjvf dir.bz2.tar dir

c: アーカイブファイルの作成
j: bzip2形式の圧縮を同時に行う
v: 処理情報をprintする
f: アーカイブファイルを指定する

#解凍
tar jxvf dir.bz2.tar

-j: bzip2を通して処理を行う
x: 書庫からファイルを取り出す

また、圧縮や解凍をしつつ他の作業をしたい場合、「nohup」コマンドを利用すると便利です。このコマンドを先頭につけることにより、端末を閉じても、Linux OS自体をシャットダウンしない限り、裏でコマンドでの処理をし続けてくれます。

nohupを使うとさらに便利

nohup tar -cjvf dir.bz2.tar dir

Command Line Interfaceからパッケージをインストール（apt-getの活用）

今回は、Synapticパッケージマネジャーを利用しないやり方の紹介になります。

何かのパッケージをLinuxにインストールするのに、いちいちウェブサイトに出向いて、目的のパッケージをダウンロードしてきて、インストールするのは億劫ですよね。

そこで、「apt-get」コマンドの出番です( ･`ω･´)

このコマンドで、目的のパッケージを自動的にダウンロード・インストールまで行なってくれます。また、足りないパッケージを追加でインストールしてくれるので、さらに便利。

〈apt-fileで目的のファイルを含むパッケージの候補を検索〉
（１）まず、インストールしたいファイル・パッケージを検索します。
$apt-file search 任意のファイル名
libexpat1-dev: /usr/include/expat.h　#libexpat1-devがパッケージ名になります。
⇒様々の候補が出力されるので、任意のものを選択。

〈apt-getで目的のファイルを含むパッケージをインストール〉
（１）管理者権限のもとで、インストールを実行します。
$ sudo apt-get install 任意のパッケージ名

あとは、インストールが終わるのをぼーっと待っています。
使用するディスク容量が大きい場合は以下のような文章が表示されます。

この操作後に追加で 17.6 MB のディスク容量が消費されます。
続行しますか [Y/n]?  y

パッケージをインストールしていいか聞いてくるので、「y」と入力して、「Enterキー」を叩きましょう。問題が発生しなければ、インストールが実行されます。

一秒ごとにメモリの使用量を確認する方法（Linux）

解析をしていて気がかりなのが、メモリーの使用量です。

特に、マッピングの際に使用されるメモリーをモニタリングして、メモリー不足になっていないか確認したいと思うことがあります。（しょぼいスペックしか持たないパソコンなら尚更です…。）

メモリの使用量を見るには「free」コマンド、プログラムを一定間隔で実行し続ける「watch」コマンドを利用します。コマンドは以下のとおり。

（１）一秒ごとにメモリの使用量をMB単位で表示させる。
$ watch -n 1 free -m

-n: 秒単位でコマンドを実行する間隔を指定する。
-m: MB単位でメモリーの使用量を確認する。

以上。

ディスク容量の確認（Linux）

Linux OSを使用していると、「ディスクの容量の空きってどのくらいなんだろう？」って気になるときがあります。

そんな時、以下のコマンドを打つだけでディスク容量を把握することができます。

$df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1        19G  5.5G   13G  31% /
udev            494M  4.0K  494M   1% /dev
tmpfs           201M  1.1M  200M   1% /run
none            5.0M     0  5.0M   0% /run/lock
none            501M  124K  501M   1% /run/shm

こんな感じ。

ファイルの解凍方法（Linux OS）

各種圧縮ファイルの解凍の仕方についてのメモ。

（１）.tar.gz (.tgz)
$ tar zxvf INPUT_file.tar.gz

（２）.tar.bz2 (.tbz)
$ tar jxvf INPUT_file.tar.bz2

（３）.gz
$ gunzip -d INPUT_file.gz

（４）.bz2
$ bzip2 -d INPUT_file.bz2

（５）.zip
$ unzip INPUT_file.zip

以上。

Linux基本コマンド「ls」「cd」「less」

産総研で開催された「次世代シークエンサー解析入門」の復習として、その内容をまとめていこうと思います。とはいえ、更新ペースは週一ぐらいで。

まずはLinux基本コマンドについて。
ずばり覚えるべきコマンドはたったの３つ。

「ls」　「cd」　「less」　の３つです。

これらコマンドの基本的な機能は以下のとおりになります。

（１）ls
カレントディレクトリ中のファイル・ディレクトリを表示させる。
〈具体例〉
imamachi@imamachi-virtual-machine:~$ ls 
Desktop   Download  Music           Share     Video
Document  Image     Sample.desktop  Template

（２）cd
ディレクトリを移動する。
〈具体例〉
imamachi@imamachi-virtual-machine:~$ ls
Desktop   Download  Music           Share     Video
Document  Image     Sample.desktop  Template
imamachi@imamachi-virtual-machine:~$ cd Download
imamachi@imamachi-virtual-machine:~/Download$ ls
refGene.txt

imamachi@imamachi-virtual-machine:~$ cd
Desktop   Download  Music           Share     Video
Document  Image     Sample.desktop  Template
⇒「cd」だけ打つと、ルートディレクトリへ戻れる。

imamachi@imamachi-virtual-machine:~$ cd ..
Desktop   Download  Music           Share     Video
Document  Image     Sample.desktop  Template
⇒「cd ..」と打つと、ひとつ上の階層のディレクトリへ移動できる。

（３）less
ファイルの中身を表示する。

〈具体例〉
imamachi@imamachi-virtual-machine:~$ ls
Desktop   Download  Music           Share     Video
Document  Image     Sample.desktop  Template
imamachi@imamachi-virtual-machine:~$ cd Download/
imamachi@imamachi-virtual-machine:~/Download$ ls
refGene.txt
imamachi@imamachi-virtual-machine:~/Download$ less refGene.txt 
790     NR_026775       chr6    +       26924771
26991753        26991753        26991753        3
26924771,26936236,26991032,     26924962,26936301,26991753,
0       LINC00240       unk     unk     -1,-1,-1,
…

ここまでは基本的な機能について紹介してきましたが、「ls」　「cd」　「less」には他にもオプションをつけることができます。

（１）ls -l
「ls」に「-l」のオプションをつけることによって、さらにカレントディレクトリ中のファイル・ディレクトリの詳細について表示させることができます。

〈具体例〉
imamachi@imamachi-virtual-machine:~/Download$ ls -l
合計 14256
-rw-rw-r-- 1 imamachi imamachi  1052432  2月  3  2012 liftOver
-rw-rw-r-- 1 imamachi imamachi  1052432  2月  3  2012 liftOver(1)
-rw-rw-r-- 1 imamachi imamachi 12491136  3月 10 22:38 refGene.txt
imamachi@imamachi-virtual-machine:~/Download$

（３）less -S

「less」に「-S」のオプションをつけることによって、改行コードが入っていなくてもウインドウサイズに合わせて折り返されていた文字列を、改行コードが入っているときのみ折り返して表示してくれます。（ただし、このオプションをつけると、ウインドウに入りきらなかった部分に関しては見せてくれません。）

〈具体例〉

imamachi@imamachi-virtual-machine:~/Download$ less -S refGene.txt 

790     NR_026775       chr6    +       26924771        26991753

216     NM_007188       chr7    +       150725509       150744869

1152    NM_001242928    chr14   +       74353317        74398991

1645    NM_197964       chr7    +       139025877       139031065

257     NM_197962       chr1    -       193065594       193074608

135     NM_197961       chr15   -       65737997        65810035

⇒恥ずかしながら、講習会で初めて知りました。へたに文字列を折り返されると読みにくいファイルに関しては、このオプションを利用すると便利ですね。特に、よく使うBED, GTF, SAM, FASTQファイルの中身を見たいときには有効かな。

今日はここまで。

ちなみに
・VMware(R) Player 5.0.2 build-1031769
・Ubuntu 12.04 LTS
を利用して上記のコマンドを実行してます。