Teknik nak retrieve and categorize article!!

alusmetai

search je Naive Bayes Classifier text classification. Salah satunya:

http://www.ddj.com/development-tools/184406064;jsessionid=0X3HB3Q2Y1HMQQSNDLRCKH0CJUNN2JVN?_requestid=126671

Pasal nak guna rules tu pula, kau kena identify dulu lah problem untuk kita apply rules tu. Rules based teknik ada mcm2 jenis. Yang mana satu yang patut digunakan terpulang kepada problem at hand.

HishamZ

Thanks a lot..coding tu bahasa ape ek? java ke? boleh intergrated ngan php?

alusmetai

Perl.

tapi ko nak buat apa guna NBC tu kalau ko dah suruh penulis sendiri yg specify kategori dia?

HishamZ

kalo otak dh pening memang mcm ni, tak konpiden je nak apply algorithm..
maknanya, kalo dapat apply NBC ni lagi bagus lah..lagi intelligent la..but, i will try..
n akan infom progress sterusnya..

HishamZ

perl ni kita boleh intergrate tak ngan php?

alusmetai

pasal integration dengan php tu aku tak pasti lah sham. Tapi bukan ke perl dan php ni pun scripting language? Kalau dah sama, pilih je salah satu lah. Kalau aku, aku pilih language yang aku lebih mahir. Kalau kau rasa masih nak buat NBC tu, despite ada cara yang lebih senang lagi, aku cadangkan ko bertanya dulu dengan supervisor ko untuk mintak kelulusan. Mungkin salah satu alasan yang boleh ko bagi ialah kesesuaian penggunaannya jika author tak specify kategori artikelnya.

Kalau kau nak venture lebih dalam untuk kasik lebih thrill lagi, mungkin ko boleh buat research macam mana nak cari relationship antara 1 artikel dengan artikel-artikel yang lain dari aspek relevansi menggunakan teknik AI. So bila user dipersembahkan dengan satu artikel, di bahagian tepinya ada section khas artikel-artikel yang mungkin ada kaitan dengan artikel yang sedang dibaca.

Kalau ko nak tanya apa-apa lagi pasal NBC, post away.

HishamZ

Thanks..search punya search, saya dapat NBC dalam code PHP.
Tapi ada part dalam coding tu saya tak paham. Maybe, kamu boleh tolong tengok2kan.Ni link dia.
http://jtdowney.com/node/7/

Pasal language2 ni, saya lagi selesa use php.
Ok,dlm coding tu, sy tak paham kat kelas mane die classify, coz tak nampak dia declare apa2 category pun?
Lepas tu, saya tak tahu macamana nk run code ni coz, konpius sikit tentang kat mane nak letak database dia,kat mana tu dia capai, n tak tau kat mane nak bagi input...n trace output. Frankly, sy ni kurang mahir dlm programming. but i try to u/stand and apply.

okay..

HishamZ

sy dh jumpa supervisor crita pasal NBC...n tunjukkan post2 kamu yg sebelumnya,n perl code tu.
dia berminat n minta saya teruskan buat. ..siap nak bagi A kalo dapat apply NBC ni!!
dia minta saya buat standalone application dulu use NBC, untuk try dulu, before saya gabungkan suma tu
dengan benda2 lain yang ada dalam web newsletter saya. Dia bagi tempoh dua minggu..lepas ni dia nk tengok NBC yang dh boleh run, guna sample2 or contoh. tolong....

alusmetai

Originally posted by HishamZ at 3-8-2007 01:44 AM
Ok,dlm coding tu, sy tak paham kat kelas mane die classify, coz tak nampak dia declare apa2 category pun?
...

Merujuk kepada code php NBC yang ko berikan link nya tu;

Now it's time to apply this to classifying simple text documents. We want to break our text files down into different buckets which are analogous to categories

Lepas tu, saya tak tahu macamana nk run code ni coz, konpius sikit tentang kat mane nak letak database dia,kat mana tu dia capai, n tak tau kat mane nak bagi input...n trace output. Frankly, sy ni kurang mahir dlm programming. but i try to u/stand and apply.

minta maaf aku tak tau PHP. Tapi kalau kau nak aku bagi educated guess, first ko kena run function learn_text() tu untuk mendapatkan probability-probability yg dikehendaki oleh NBC. Dan lepas tu ko akan run function classify_text() untuk mengklasifikasikan artikel-artikel baru yang tiada dijelaskan kategorinya.

Aku urge ko fahamkan dulu general steps di post nombor 15 ( Originally posted by alusmetai at 28-7-2007 05:29 PM ). Selepas tu, fahamkan theory Naive Bayes yang dibincangkan dalam link code php tu. Lepas tu baru code tu make sense.

Lepas ko berjaya faham itu semua, ko akan faham yg ko kena prepare fail-fail dokumen yang telah terkategori terlebih dahulu untuk digunakan oleh NBC (mungkin function learning_text() ). Yakni, kau kena kumpulkan semua dokumen-dokumen yang telah ditulis, tandakan kategorinya (boleh dilakukan dengan meletakkan dokumen-dokumen di dalam folder kategori masing-masing), preprocess dengan membuang words biasa yang tidak membantu klasifikasi (dalam code php tu perkataan-perkataan yang terkandung dalam array noise) seperti "and" , "or", "you", "I", "am" dan lain-lain atau jika dokumen ditulis dalam bahasa melayu; perkataan-perkataan seperti "dan", "atau", "maka" , dan lain-lain.

HishamZ

boleh x ajarkan cara2 nak run code NBC dalam perl tu?

HishamZ

sy dh study sikit tentang perl ni..kita kena install activeperl tu dulu ke? then, sy tak phm cara2 nak run code..nk try simple code hello world dulu la..
sape2 yg ada knowledge, tlg ajarkan...

alusmetai

aku tak tau PHP mahupun perl. sorry.

HishamZ

ok takpe...
dalam NBC, mula2 kita kena declare kategory,kemudian kena letak identifier untuk setiap kategori,then
baru letakkan sample content artikel...
lepas tu train set tu...bagi dia learn...
sy tak paham apa fungsi identifier...dia ckp identifier must be unique..?

alusmetai

mestilah unik. takkan kategori tak unik? identifier tu macam primary key lah lebih kurang.

[ Last edited by  alusmetai at 6-8-2007 08:11 PM ]

alusmetai

macam mana projek Hishamz nih?