久しぶりにsortコマンドをまじまじ触っていたのだが，きっちり4列目，次に2列目でsort，としたい場合には， sort -k4,4 -k2,2とすることが必要。3列目だけでまず1番key，次に2列目だけで2番keyと明示的に示す必要がある。 数字オプションとか入れる場合は以…

epsの図からgifアニメへ． 1.epsから2.eps .... 19.epsといった具合にパラパラ漫画を作る． convert 1.eps 2.eps 3.eps (中略) 19.eps Amime.gifとするところを， convert *.eps Amime.gifとすると，1.eps 10.eps 11.epsの順にくっついてしまう．そこで以下…

unixかどうかはわからないけど，macでファイルをまとめてZipファイルを作って，それにパスワードをかけたい場合は， zipcloak Java7-9.zip Enter password: Verify password: というコマンドが使えた．参考

大学のサーバへHPを作ってアップしたり，パスワードを書けたりしたののまとめ．ファイル送信 by sftp 例えば，デスクトップにあるファイル（FileName）を送信したいとする． cd ~/Desktop/ sftp (servername.jp) put FileName FileName exit ファイルの操作 …

シェルでの繰り返し文． for i in {18,20}; do echo "cat time_$i-* >> c$i.tmp"| bash;done;以下のコマンドが実行される． cat time_18-* > c18.tmp cat time_20-* > c20.tmpfor i in {18..20}; do echo "cat time_$i-* >> c$i.tmp"| bash;done;以下のコマ…

まとめてファイル処理． Corr_1.txt，Corr_3.txt，Corr_2.txtとかに対して行数や，削除処理をしたい場合． wc -l Corr_* 1 Corr_1.txt 1 Corr_2.txt 1 Corr_3.txt 3 total rm Corr_* (Corr_1.txt，Corr_3.txt，Corr_2.txtが削除される．)

paste で複数ファイルを横に並べて結合したい場合．いちいち paste file1 file2 file3 file4 file5 ....と，書くのは面倒で何か良い方法は無いかと探したけど見つからず．結局，くっつけるファイルのリスト(list.txt)を作り ls > list.txt cat list.txt file…

mecabの辞書に顔文字を追加してみた． エスケープ文字がどう処理されているのかよくわからないが， ( 0,0,無品詞,顔文字,*,*,*,*,"がんがれ,*,*,顔文字, ミ 0,0,0,無品詞,顔文字,*,*,*,*,"ちびふさ,*,*,顔文字, が，たくさん出力される．なぜだろうか．．．…

タブ区切り，1カラム目の数字昇順，重複は避けてソートする． sort -t \t -k1n -u File.txtセパレータにダブルコーテーションの指定など不要． 参考

フランス語記号が入ったファイルをソートしようとすると， sort: string comparison failed: Illegal byte sequence sort: Set LC_ALL='C' to work around the problem. sort: The strings compared were `1 dissip\343\251e' and `1 l\343\251touffer'. と…

単語をsortしたりすると，異常に時間がかかったりエラーで止まったり． 例えばこんなメッセージが出たり． sort: string comparison failed: Illegal byte sequence sort: Set LC_ALL='C' to work around the problem. sort: The strings compared were `\''…

Project Gutenbergを使って、単語の出現頻度を調べる。 http://www.gutenberg.org/１、テキストファイルをダウンロード ２、テキストファイルのヘッダとフッタの不要な部分を削除 ３、空白を改行に置き換えて、英語アルファベット以外を削除するとよい sed '…

文字コードチェックと、utf-8に変換。 nkf -g sample.csv nkf -w --overwrite sample.csv参考１ さらに改行コードを変換。（mac[CR;\r] -> unix[LF;\n]） tr \\r \\n < mac.txt > unix.txt参考２

５番目のフィールド以降全てを切り出す。 cut -d : -f 5- [Inputfile]

全角文字を絞り込みたい grep [０-９Ａ-ｚ、-◯ぁ-んァ-ヶ亜-腕弌-熙] 引用元twitterのtweetをMecab使って解析。 mecab < AllTweet.txt | grep "名詞" | cut -f 1 | sort | uniq -c | sort | grep [０-９Ａ-ｚ、-◯ぁ-んァ-ヶ亜-腕弌-熙]

プロセスの確認コマンドps ps -helpでオプション確認すればいいんだけど、 プロセスID[XXXX]が分かっている場合に、その詳細を知りたい時。 ps -F -p XXXX F のオプションでここでは詳細まで表示させている。 PPIDというのは親プロセスIDのことでshの中でexe…

投入したジョブの削除 ps -aux | grep YYYY[User Name] kill XXXX[Process ID]参考１ 参考２

改行コードの変更いろいろ by perl 参考

便利なsed 10行目を表示 sed -n '10p' 1から10行目を表示 sed -n '1,10p' 10行目を削除 sed -e '10d' 1から10行目を削除 sed -e '1,10d' 参考

ファイルの先頭に「ABCDE」を追加する。 sed -i '1s/^/ABCDE\n/' [Inputfile]

特定の列だけ取り出す cut [InputFile] 1,2 1,4 1,7 2,4 2,7 cut -d "," -f 1 [InputFile]| sort -n | uniq -cで、 [Output] 3 1 2 2 cut -d "," -f 2 [InputFile]| sort -n | uniq -cで、 [Output] 1 2 2 4 2 7となる。 d で区切り文字、fで出力列を決めて…

ファイル名が数字で始まるものみ表示 ls | grep ^[0-9]

小文字を大文字にする tr a-z A-Z [InputFile.csv]参考 ランダムシャッフル Fisher–Yates shuffleにてやりなおし。 Perlを用いた。

巨大ファイル圧縮転送のおさらい 分割する split -b 1000m BigFile.csv BigFile. 分割ファイルを1つのフォルダにまとめる BigFolder 圧縮する tar jcvf BigFolder.tar.bz2 BigFolder 展開する tar jxvf BigFolder.tar.bz2 tarのオプションは c : 新規に圧縮…

ある数行の手順をを、フォルダにある全outファイルに対して行いたいとき。 awkで手順をシェルに書き下すのも面倒だし、、、と言うときに。 for i in `ls |grep out`;do sed 's/sample2.out/'$i'/g' Procedure.txt >> Analysis.sh;done;Procedure.txtはこんな…

日本語入力ができなくなった。 入力メソッドのANTHYってやつを選択して、回復。

wikipediaのページから、ハイパーリンク付きの日本語単語だけ取り出したい。 ページのソース（ここでは「Category:日本の年中行事.htm」）をダウンロードして、こんな感じ。 grep title Category:日本の年中行事.htm | gawk '{split($3,X,"=");split(X[2],Y,…

圧縮 圧縮したいディレクトリ名をworkとする。 tar czvf work.tar.gz work 展開 展開したいディレクトリ名をwork.tar.gzとする。 tar xzvf work.tar.gz

sort カンマ区切りのデータの1カラムから6カラム目までを、数字の昇順でソート sort -t "," -n +0 -5 -o Sorted.data BeforeSort.data