ハドゥプゥ wordcount と perl de ランキング

hadoop javaでソートするのがめんだい場合は。。。;:ﾞ;｀(ﾟ∀ﾟ)｀;:ﾞ

まず、wordcountしたいファイルあるいはディレクトリを作ります。

1122 /usr/local/hadoop/bin/hadoop fs -mkdir wordcount/input-2012-01-23-03

ローカルからカウントしたいファイルここではlist2をコピーすます
1123 time /usr/local/hadoop/bin/hadoop fs -copyFromLocal /home/torrent-count/2012-01-13-01/list2 wordcount/input-2012-01-23-03/

wordcountシマス
1124 time /usr/local/hadoop/bin/hadoop jar /usr/local/hadoop/hadoop-examples-0.20.205.0.jar wordcount wordcount/input-2012-01-23-03/ wordcount/output-2012-01-23-03

結果は、コピーするのがめんどいので、catで出力します。
1125 time /usr/local/hadoop/bin/hadoop fs -cat wordcount/output-2012-01-23-03/part-r-00000

ここでperl登場　１．ｐｌなどを使って <単語、頻度>のリストにすます
「1.pl」をダウンロード

そして、sort.txtなどを使ってソートします。
「sort.txt」をダウンロード

gtagsはいみじけれ

~/.emacsというファイルを作成しますて、/etc/skel/.emacsをコピーし、

;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
;; GNU GLOBAL(gtags)
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
(autoload 'gtags-mode "gtags" "" t)
(setq gtags-mode-hook
'(lambda ()
(local-set-key "\M-t" 'gtags-find-tag)
(local-set-key "\M-r" 'gtags-find-rtag)
(local-set-key "\M-s" 'gtags-find-symbol)
(local-set-key "\C-t" 'gtags-pop-stack)
))

を追加しました。しかし、こりで
M-x gtags-modeとすると、
Cannot open load file: gtags
とのエラーがでしますたので、（;´▽｀A``
/usr/local/share/gtags/gtags.elを、~/emacs.d/にいかにコピーし、
.emacsに

(setq load-path (append (list
(expand-file-name "~/.emacs")
(expand-file-name "~/.emacs.d/")
)
load-path))

ロドゥパスを追加すますた。
gtagsはいみじけれ。　ヾ(.;.;ﾟДﾟ)ﾉ

$ global virt_to_pfn
arch/h8300/include/asm/page.h
arch/m68k/include/asm/page_mm.h
arch/m68k/include/asm/page_no.h
arch/microblaze/include/asm/page.h
arch/openrisc/include/asm/page.h
arch/score/include/asm/page.h
arch/x86/include/asm/xen/page.h
include/asm-generic/page.h

gtags

gtagsは便利こそあらめ

;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
;; GNU GLOBAL(gtags)
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
(autoload 'gtags-mode "gtags" "" t)
(setq gtags-mode-hook
'(lambda ()
(local-set-key "\M-t" 'gtags-find-tag)
(local-set-key "\M-r" 'gtags-find-rtag)
(local-set-key "\M-s" 'gtags-find-symbol)
(local-set-key "\C-t" 'gtags-pop-stack)
))

find-rtag / find-symbolの後、find-tagでジャンプするやうにすられ　ヾ(*ﾟA｀)ﾉ

subversion + ssh

svn list svn+ssh://ec2-user@*.*.*.*/home/ec2-user/svn
サブ場ジョンはこれにて候　(*ﾟ▽ﾟ)ﾉ
/root/.subversion/config
にこそあらめ　(ﾟｰﾟ)

eclipse Bad version number in .class file

eclipseで
Bad version number in .class file
が出る場合、
windows -> preferences -> java -> installed JREsを選択
で場ジョン 1.6を選択するとうまくいく場合があるでござるよ　（´～｀）。゜○

Cannot find a valid peer process to connect to。

Cannot find a valid peer process to connect to。
といふやうな目世辞がvmwareにてあることがさむありなむ。　ヾ(*ﾟA｀)ﾉ

in this case いったん終了し、
タスクマネージャでvmware関連のプロセスをvm*を消去し、スナップショットファイルを
消すと正常に起動できる場合がありマス。(ｏ・ω・)ノ))
http://communities.vmware.com/message/769170

アマジョン EC2 vncの設定

amazon ec2でvncサーバの設定をしませた。
yum install vnc* アスタリスクが重要でこれがねいとvnc-serverがインストゥールされませぬですた。

puttyなどでトンネルの設定をしませい
元ポート　1111 転送先 <尼ジョンのアドレス>:5901

など
.vnc/xstartupを変更
#twm &
gnome-session &

ですが、gnome-sessionが表示されませぬ
以前設定したやうなのですが忘れますた　(ﾟдﾟ)

yum install gnome*　しますた　(続　多分

メモ<リ>メモ (twitter風）

論理アドレス／リニアアドレス／物理アドレス

segmented unit: 論理アドレスからリニアアドレスへの変換
physical unit: リニアアドレスから物理アドレスへの変換

リニアアドレスは３２ビット
１０ビット：　ページディレクトリ
１０ビット：　ページテーブル
１２ビット：　オフセット

python de mongodb
easy_installはpython-setuptools-develに入ったそうな

[root@localhost python-mongodb]# yum install python-setuptools-devel
読み込んだプラグイン:presto, refresh-packagekit
インストール処理の設定をしています
依存性の解決をしています
--> トランザクションの確認を実行しています
---> パッケージ python-setuptools.noarch 0:0.6.14-3.fc13 を更新に設定しました
--> 依存性解決を終了しました

依存性を解決しました

=========================================================================================================
パッケージ アーキテクチャ バージョン リポジトリー 容量
=========================================================================================================
インストールしています:
python-setuptools noarch 0.6.14-3.fc13 updates 335 k

トランザクションの要約
=========================================================================================================
インストール 1 パッケージ
アップグレード 0 パッケージ

総ダウンロード容量: 335 k
インストール済み容量: 1.1 M
これでいいですか? [y/N]y
パッケージをダウンロードしています:
Setting up and reading Presto delta metadata
Processing delta metadata
Package(s) data still to download: 335 k
python-setuptools-0.6.14-3.fc13.noarch.rpm | 335 kB 00:06
rpm_check_debug を実行しています
トランザクションのテストを実行しています
トランザクションのテストを成功しました
トランザクションを実行しています
インストールし : python-setuptools-0.6.14-3.fc13.noarch 1/1

インストールしました:
python-setuptools.noarch 0:0.6.14-3.fc13

完了しました!
[root@localhost python-mongodb]# easy_install pymongo
install_dir /usr/lib/python2.6/site-packages/
Searching for pymongo
Reading http://pypi.python.org/simple/pymongo/
Reading http://github.com/mongodb/mongo-python-driver
Best match: pymongo 2.0.1
Downloading http://pypi.python.org/packages/source/p/pymongo/pymongo-2.0.1.tar.gz#md5=36300a5c3568707f6c5f1692f42ca008
Processing pymongo-2.0.1.tar.gz
Running pymongo-2.0.1/setup.py -q bdist_egg --dist-dir /tmp/easy_install-1sb4bB/pymongo-2.0.1/egg-dist-tmp-IHS4dh
zip_safe flag not set; analyzing archive contents...
Adding pymongo 2.0.1 to easy-install.pth file

Installed /usr/lib/python2.6/site-packages/pymongo-2.0.1-py2.6-linux-i686.egg
Processing dependencies for pymongo
Finished processing dependencies for pymongo

ハドゥプゥ Bad Connection to FS (゜Д゜Uu) グエッ

Bad Connection to FS
INFO ipc.Client: Retrying connect to server: localhost/ 127.0.0.1:54310. Already tried 8 time(s).
こりは、恐怖のメッセージですな　シェ━━((゜Д゜Uu))━━!!!!!

namenodeがあがっていない場合が多い。hadoop関連のファイルが残っているからであらう。。（｀・∞・´）

ハドゥプ関連のファイルをすべて消し、フォーマットしなおしてstart-all.shするとうまくいくことがありんす

root@localhost ~]# rm -rf /tmp/*
[root@localhost ~]# rm -rf /hadoop/*
[root@localhost ~]# rm -rf /var/log/hadoop/
[root@localhost ~]# rm -rf /var/run/hadoop/

stop-all.sh
hadoop関連ファイルをすべて消去
namenode format
start-all..sh

こりでDO-YO　｜ω・)