Data Analysis Application

You might dealing with data, a lot of them. Now that you want to interpret them all, say, making sense of them and show those figures to your boss. As for my case, for my literature readers.

Data obtained from many sources, say from the existing dataset - or the one that you create on your own. Perhaps, we may be able to make some conclusion or future prediction, as closest to the highest probability as possible.

Ever use Weka?

Weka, is an open source software developed by Univ of Waikato researchers years back. It has been used in many literatures, including my domain, malware research.

Default file format for Weka is ARFF.. and I managed to convert them from Comma Separated Value file, CSV. Tools involved including Clustering, Classification, Association and many others. If you're in Data Mining and Machine Learning; this is your friend. In some sense Pattern Recognition area may need Weka as well.

If you're used to Matlab and Weka, please share your opinion in using both for data analysis. I know many friends who did their research for Image Processing used to Matlab for pattern recognition problem.

Cloud storage dengan Wuala

Anda pernah guna storan cloud seperti Dropbox ataupun jika anda menggunakan Ubuntu, Ubuntu One? Cloud storage seperti Dropbox dan Ubuntu One membolehkan anda menyimpan data di dalam storan lokal dan salinannya dihantar ke storan cloud berkenaan. Untuk tujuan promosi mereka meletakkan had promosi, contohnya Dropbox sebanyak 2 GB dan boleh ditingkatkan ke 8GB sekiranya anda memperkenalkan ahli baru yang berjaya mendaftar melalui anda. (saya dapat 9GB, dah terlebih!). Sekiranya anda ingin menggunakan lagi, anda perlu melanggan, bergantung kepada had penggunaan anda.

Baru-baru ini saya diperkenalkan kepada Wuala, satu storan cloud juga, dan mempunyai mekanisma encryption. Jika anda ingin melanggan, klik sini dan masukkan promo code sewaktu anda mendaftar.

Saya sudah cuba di dalam mesin Ubuntu saya, 64bit dan versi 11.04 

Ubuntu 11.04 Dilancarkan

Salam Sejahtera.

Ubuntu 11.04 baru saja dilancarkan. Dapatkan imej ISO anda di sini.

Shipit CD sudah dihentikan, jadi anda kena mua turun menggunakan talian anda sendiri

Papan kekunci rosak!!! Apa nak buat?

Saya mengalami masalah di mana SATU kekunci pada papan kekunci saya telah tercabut dan tidak dapat dibaiki (setelah berkunjung ke Plaza Low Yat, buy a new keyboard, such a nice advice from the shoppers, and it will costs me around RM135, very helpful indeed) dan perlu diganti keseluruhannya. Huruf yang berkenaan ialah huruf "L", di mana kadang-kadang untuk urusan "chat" saya perlu tukar huruf ini dengan kekunciu "|" yang seolah-olah seperti "l".

Sahabat saya telah mengesyorkan cara key remap, di mana kita boleh menukar pemetaan aksara kepada kekunci lain yang jarang digunakan.

Saya pun tidak pernah terfikir tentang perkara ini. Tiba-tiba saya teringat peristiwa semasa saya menjalani latihan Honeynet semasa seminar FIRST di mana juru ajar kami menggunakan mapping "English Britain" walhal kebiasaannya kita di Malaysia kita menggunakan US Keyboard. Yang demikian menyebabkan kesukaran di kalangan kami untuk menaip aksara-aksara yang diingini.

Untuk Ubuntu, saya menemui solusi di Internet yang akan saya sampaikan di bawah:

Baik, katakan untuk huruf "r"

1) Mula-mula, kita kena kenalpasti, apa kod bagi huruf "r" menggunakan arahan "xev"

KeyRelease event, serial 33, synthetic NO, window 0x6e00001,

    root 0xac, subw 0x0, time 30688496, (793,491), root:(795,563),

    state 0x0, keycode 27 (keysym 0x72, r), same_screen YES,

    XLookupString gives 1 bytes: (72) "r"

    XFilterEvent returns: False

dan saya mahu tetapkan pada "Ctrl" pada sebelah kanan papan kekunci:

KeyRelease event, serial 33, synthetic NO, window 0x6e00001,

    root 0xac, subw 0x0, time 30787011, (850,361), root:(852,433),

    state 0x4, keycode 105 (keysym 0xffe4, Control_R), same_screen YES,

    XLookupString gives 0 bytes:

    XFilterEvent returns: False

pada paparan di atas, huruf "r" ditetapkan pada kod kekunci 27

manakala "Ctrl" pada sebelah kanan pada kod kekunci 105

2) Kemudian, kita akan gunakan padankan kekunci Ctrl kanan supaya apabila ia ditekan ia akan memaparkan "r" pada skrin;

Taip

 xmodmap -e 'keycode 105=R'

keycode 105 merujuk kod kekunci Ctrl pada sebelah kanan papan kekunci yang jarang digunakan.

Sekarang kita periksa semula "mapping" kekunci ini;

KeyPress event, serial 33, synthetic NO, window 0x6e00001,

    root 0xac, subw 0x0, time 31111455, (931,429), root:(933,501),

    state 0x0, keycode 105 (keysym 0x72, r), same_screen YES,

    XKeysymToKeycode returns keycode: 27

    XLookupString gives 1 bytes: (72) "r"

    XmbLookupString gives 1 bytes: (72) "r"

    XFilterEvent returns: False

KeyRelease event, serial 33, synthetic NO, window 0x6e00001,

    root 0xac, subw 0x0, time 31111572, (931,429), root:(933,501),

    state 0x4, keycode 105 (keysym 0x72, r), same_screen YES,

    XKeysymToKeycode returns keycode: 27

    XLookupString gives 1 bytes: (12) ""

    XFilterEvent returns: False

sekarang anda boleh cuba pada komputer anda, ia berfungsi dengan baik di dalam komputer saya.

Sekiranya tetapan ini hilang sebaik anda "reboot" komputer anda, boleh letak di dalam $HOME/.bashrc anda

Rujukan asal, di sini

Cloud Computing dan Box.net

GoogleDocs, DropxBox, SugarSync mungkin anda sudah tahu. Pagi ini saya cuba satu perisian baru disebabkan keadaan memaksa saya untuk mengimbas dokumen, walhal saya tidak mempunyai mesin pengimbas. Saya hanya imbas dokumen tersebut dengan fon Android saya, dan muat naik ke Dropbox. Tetapi saya perasan ia juga punya opsyen ke www.box.net

Bagaimana jika saya hendak guna di dalam Ubuntu? Gunakan opsyen "Connect to Server" pada menu "Places" di Ubuntu anda... dan pilih protokol "WebDAV"

Pada fon Android saya, anda boleh dapatkan client daripada website box.net:

Fail yang disenaraikan hanya ada di pelayan box.net, jika anda mahukannya, klik dan urusan muat turun akan dilakukan:

Zenity dan merakam audio/video menggunakan FFMPEG

Zenity membolehkan kita membuat graphical interface dengan mudah untuk skrip kita. Contohnya di dalam hal ini saya ingin merakam gambar melalui kamera web (webcam) saya dengan FFMPEG:


 ffmpeg -f video4linux2 -s 1200x960 -i /dev/video0 -r 30 -f avi -vcodec mpeg4 -vtag xvid -sameq $HOME/Pictures/`echo $(date +%a%H%M%S)`.avi 2>&1|zenity --title "Rakaman guna FFMPEG dan Zenity by Najmi  ::  Simpan ke $HOME/Pictures/" --width 900 --height 600 --text-info;reset

Di dalam skrip di atas, saya merekod video ke dalam format AVI dan ia akan dinamakan mengikut timestamp mula rakam video tersebut. 

Hasilnya, jika kebiasaannya log verbose akan dipaparkan ke terminal, ia akan dipaparkan ke dalam tetingkap luar:

Mon141019.avi 

Sat212450.avi  

Sun081112.avi  

Sun081845.avi  

Sun175308.avi  

Sun201402.avi  

Sun201459.avi  

Tue103057.avi

Dalam contoh di atas, skrip FFMPEG saya hanya merakam gambar bisu, disebabkan saya tidak meletakkan mikrofon untuk merakam suara.

Perisian untuk penyelidik melakukan sorotan kesusasteraan (literature review)

Beban menyelidik dan melakukan penemuan breakthrough memang memeningkan kepala. Silap-silap haribulan lesung batu, kapal selam, bantal busuk, selipar jamban akan terbang ke atas kepala. Untuk mengelakkan hal-hal sedemikian berlaku, para penyelidik haruslah menjimatkan masa mereka untuk tugasan yang remeh seperti mengendalikan kertas-kertas akademik yang harus ditelaah untuk penyelidikan mereka.

Saya bertemu beberapa perisian antaranya ialah:

1- Modified Jabref oleh Sciplore untuk mengendalikan fail-fail BibTeX 

2- Mendeley

3- Zotero

Buat masa ini saya sudah menggunakan perisian 1) dan sedang membiasakan dengan perisian 2). 

So far dalam membentang progress report kepada penyelia saya dengan menggunakan LaTeX Beamer saya senang menggunakan 1.

Tetapi apabila fail-fail PDF saya sudah berlonggok dan enermous saiznya, maka saya merasakan perisian 2) iaitu Mendeley amat membantu. Ini kerana ia membaca metadata pada PDF untuk membantu tugas-tugas pengkatalogan di dalam pangkalan data kita. Sebenarnya hal yang hampir sama boleh dilakukan dengan Sciplore+Jabref tetapi saya dapati untuk sistem operasi Ubuntu 10.10 saya hal demikian tidak berlaku.