大規模データ，比較的手が届くもののリスト． Wikipediaのダンプデータ 日本の統計サイト, e-Satマクロなやつ多し． TwitterのAPIを使って自分で集める． Mathematica提供のデータを使う．（Mathematicaのライセンスは必要．） NewmanグループのNetwork data…

先頭が#で始まる行だけ出力。 awk '/^#/ {print $0}' test.txt 先頭が#で始まらない行だけ出力。 awk '/^[^#]/ {print $0}' test.txt シェルの中でawkを実行して，その結果を変数として，次のコマンドへ渡す。 下の例ではresへawkの結果を書き込んで，$resと…

先頭にゼロをつけて桁を揃える。 BEGIN{ } { split($1,x,"-"); str=sprintf("%4d-%02d-%02d",x[1],x[2],x[3]); print str,$2 } END{ }input : 2015-9-5 516773output: 2015-09-05 516773

列方向のデータのソートを行う。 input : 999999 37705 55754 output: 37705 55754 999999 BEGIN{ FS = " " } { for(k=1;k<=NF;k++){ id[k] = $k } sort(id,NF) for(k=1;k<=NF;k++){ printf id[k]" " } printf"\n" } END{ } function sort(ARRAY,ELEMENTS,tm…

RでDFAのチェック。 set.seed(1) #White noise eda.plot(DFA(rnorm(1500))) #H~0程度 #Random walk eda.plot(DFA(cumsum(rnorm(1500)))) #H~0.5程度お手軽ランダムウォークはただ単にcumsum(rnorm(1500))，でよろしい。相関をチェックしたければacf(rnorm(15…

先日読んだ論文で使われていたDFAを試してみようとRのpackageをインストール。 install.packages("fractal", dependencies = TRUE) library(fractal) #正規乱数で試して見る x <- DFA(rnorm(1024)) print(x) eda.plot(x) #正規乱数で試して見る，時間窓は1.1…

Fluctuations in Wikipedia access-rate and edit-event data Mirko Kämpf, , Sebastian Tismer, Jan W. Kantelhardt, Lev Muchnik Physica A 391 (2012) 6101–6111 Wikipeidaへのアクセス率とedit回数を用いて，バースト性をチェックしたもの。 バーストの…

Measuring Emotional Contagion in Social Media Emilio Ferrara, Zeyao Yang arXiv:1506.06021１年前のFacebookで「感情は伝搬する」実験と研究が行われたが，これをより自然な形でtwitterを使って行った研究。 SentiStrenghというソフトウェアを使ってツイ…

久しぶりにsortコマンドをまじまじ触っていたのだが，きっちり4列目，次に2列目でsort，としたい場合には， sort -k4,4 -k2,2とすることが必要。3列目だけでまず1番key，次に2列目だけで2番keyと明示的に示す必要がある。 数字オプションとか入れる場合は以…

Contextual analysis framework for bursty dynamics Hang-Hyun Jo, Raj Kumar Pan, Juan I. Perotti, and Kimmo Kaski Phys. Rev. E 87, 062131 (2013) 自然界，人間の行動でよく見られるburstについて，ただ単にイベントが起きた，起きないだけでは深く理…

Fluctuation Scaling, Taylor’s Law, and Crime Q. S. Hanley, S. Khatun, A. Yosef, and R.-M. Dyer, PLoS ONE 9, e109004 (2014).イギリスの月ごとの犯罪の発生件数時系列が，Taylor's fluctuation scalingを示しているよ，という論文．(Temporal fluctuat…

Mobile Phone Call Data as a Regional Socio-Economic Proxy Indicator Šćepanović S, Mishkovski I, Hui P, Nurminen JK, Ylä-Jääski A (2015) PLoS ONE 10(4): e0124160. doi: 10.1371/journal.pone.0124160有名なコートジボワールのOrange，D4Dの提供す…

Quantifying Regional Differences in the Length of Twitter Messages C. M. Alis, M. T. Lim, H. S. Moat, D. Barchiesi, T. Preis, and S. R. Bishop, PLoS ONE 10, e0122278 (2015).USではTwitterのMessage長が地域によって違うらしい．しかもそれは黒人…

Prof. Dirk Helbing's seminar Date: 15:00-17:00, April 6 (Mon.), 2015 Venue: no. 310, Surugadai Memorial Hall of Chuo University. Seminar title: Building a Smart Digital Society Together Seminar abstract: It probably started with Linux, the…

epsの図からgifアニメへ． 1.epsから2.eps .... 19.epsといった具合にパラパラ漫画を作る． convert 1.eps 2.eps 3.eps (中略) 19.eps Amime.gifとするところを， convert *.eps Amime.gifとすると，1.eps 10.eps 11.epsの順にくっついてしまう．そこで以下…

お手軽にデータサンプリングを行う． 読み込んだデータ(m行n列)から，50行だけサンプルする． > set.seed(1) > conjunction <- read.table("ave_c++.txt",header=T) > n_con <- sample(nrow(conjunction),50) > write.table(conjunction[n_con,],file="sampl…

iMacではコンパイルできるのに，Airではコンパイルできないファイルが発生．エラーは以下． LaTeX Error: This file needs format `pLaTeX2e' but this is `LaTeX2eコンパイルできなかった方のTexShopの設定見直し， 環境設定>設定プロファイル>pTeX (ptex2p…

wavestasで限られた範囲内での統計量を見る． wavestats /r=(0,10) wave1 V_npnts= 11; V_numNaNs= 0; V_numINFs= 0; V_avg= 0.065286; これまで wavestats wave1[0,10]とかやってもダメだなー，と思っていたら，wavestats のオプションで/r [rangeのこと]で…

なんやかんやで3/24までに人工知能学会の全国大会の論文誌用の原稿を書かないといけない．TeXで書くのはいいのだけれど，引用形式が違うし，いろいろ大変．TexShopはjbibtexが入っていないので，日本語がコンパイルできなかったものはbblファイルをmiで書き…

Dropboxの容量削減(これまでの期間限定ボーナスが消失)に伴い，Google driveを本格的に使い始める．mac用のGoogle driveアプリのダウンロード．Google driveの画面から，Download driveを選択すると，アプリのダウンロード画面が出る．全体で15GB使えるのでD…

epsで図のサイズを確認する方法．headとかでファイルの冒頭を確認して， %%BoundingBox: 0 0 510 553とか書いている部分に注目．これだと510 * 553 bpのサイズ． 1bp = 0.35mm程なので，結局，上の図は17.8 cm * 19.4 cm程度の大きさということ．

Human language reveals a universal positivity bias P. S. Dodds, E. M. Clark, S. Desu, M. R. Frank, A. J. Reagan, J. R. Williams, L. Mitchell, K. D. Harris, I. M. Kloumann, J. P. Bagrow, K. Megerdoomian, M. T. McMahon, B. F. Tivnan, and C. …

本年度の新しい所属にて初の予算締め．こんなことを書いていいのか，ただの恥さらしだけど，来年になってその反省を忘れるのも嫌なので残す．結果は赤字になってしまった．理由はいろいろあるのだけれど，考えられるもの． SMSEC2014の会議参加費は実行委員…

IgorのCurve Fittingについて詳細を読んでみる．基本は最小二乗法で計算しているようだ．で，非線形の場合は，Levenberg-Marquardt (レーベンバーグ・マカート)algorithmで解いている．Levenberg-Marquardt algorithmは，Gauss-Newton法と最急降下法を合わせ…

ちょっとしたtipsなんだけどワードとかパワポに貼り付けた図を，元のpngとかjpgに取り出したい時，docxとかだと対応できるらしい． 方法は，docxの拡張子を強引にzipに直して，圧縮ファイルにして，再びそれを展開すると，docxファイルの他にフォルダができ…

高所得者の子どもは，低所得者に比べ4歳までに耳する語彙が，30,000,000単語も多いと言われているらしい． 持っている語彙量の違いが教育，そしては経済状況まで左右することになる． One study found that by age 4, high-income children had heard 30 mil…

HPからリダイレクトで別ページにジャンプする方法． リダイレクトさせたい元ページののに， <meta http-equiv="refresh" content="1;URL=https://zerosano.wordpress.com/">と書いてあげると，それだけで1秒後にターゲットページへジェンプできる． プログラミング実習用のprog-aki@sk.tsukuba.ac.jpからの転送を一時中止にしておく． ssh</meta>…