スポンサーサイト

--年--月--日 --:--

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

Twitter4JとGAEとCytoscapewebの練習(空目の可視化)

2010年03月19日 01:27

Twitter4jで「空目」を含むtweetを取ってきて空目sourceと空目targetをCytoscapewebで表示してみた。Cytoscapewebすごくかっこよくてなんかこんなことに使うの非常に気がひける。

テキストボックスに入れたキーワードと「空目」を含むtweetを検索します。

http://aaatxt-gae.appspot.com/soramegraph

ピクチャ 8
これは「クロマグロ」で検索した場合。バズってる単語はsourceになり易く、下ネタな単語はtargetになり易い傾向がある。

これからやりたいこと。
・エッジをマウスオーバーで元ツイートを表示する。
・TaskQueueをつかってみる。何に?→発言のFollower数取ってきてエッジの太さ変えてみるとか。
・JDOで永続化してみる。何を?→Search結果を永続化して何かにつかう。

寝よう。
スポンサーサイト

Distributed Meme

2010年03月12日 02:33

#devfest_jpで気になった用語を調べていきます。

Distributed Meme
・Divide & conquer (分割統治)
  データと処理をTaskQueueに渡したり。
  システム全部止めてバッチ処理なんてこといならないようにする。

・Sharding (訳語はなんだろう? Shared Nothing)
  Database Sharding
  http://www.codefutures.com/database-sharding/
  ↑この記事を日本語で解説してくれている記事。参考になりました。
  http://agilecat.wordpress.com/2009/06/28/database-sharding-_1/
  (これを読むとShardingとは、Googleによる造語らしい。)
  
  例えばfig.3 にBookstoreスキーマをShardingした例がある。
  これを見るとcustomerテーブルをcustomer.idごとに分割して別の
  shard(断片)に格納しておいて、customterテーブルを参照する子テーブル
  であるcustomer_orderとかはcustomer.idごとに別shardに格納される。
  つまりcustomerをルートとするデータのツリーをshardごとに格納して
  cross shard な joinが発生しないようにする、ということ。

・Tolerate / expect failure (失敗への耐性)
  データセンターでは機器の故障は分から秒の単位で起こる。

・Idempotency (冪等性)
  失敗して再試行することを前提に、何度実行しても同じ
  結果になるような操作を定義しておく。
 
・Just scale it up (スケールアップせよ)
  スケールアップしろと。

つづく



上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。