跳到主要內容

詞性分析與字根還原

從推甄進來研究所以來,
就開始幫忙某位所上的老師 coding 相關程式。

內容大致上是這樣的,

當一篇文章(英文)進來,首先要先將文章中的單字先去做詞性的標籤,
而這東西有現成的可以拿來用, standford Tagger 有在專門做這方面的研究。

不過因為它們是用 java 開發,也讓我熟析了環境好一下才上手 Q_Q

當詞性標完後,我自己再透過標籤後選出我所要的詞性,
然後繼續做字根還原的動作

啥是字根還原呢?就像是 police 和 policy,其實它們字根還原都是 polic
有些人會將其認為是單純的兩個字,可是就大致的方面是差不多的

而這部份也有專門的學者在研究,所以我也是拿人家來套的 XD"
我是從以下這網址列找的 ─ Porter stemmer 它有提供很多版本,
因為 PHP 比較熟,所以選擇 PHP 上手

也是讓我折騰了好久一段時間

不過接下來的工作可說是我以前玩 PHP 鮮少接觸到的
以前玩的都是小小 insert deleter update 的小專案,
了不起寫一些自以為很厲害的函式

當一篇文章字經過 tagger and stemming 結果出來之後,
我必須先去做新字根的 sorting
幸好 PHP 支援很強大, sort 可以直接拿來用
不然看到一些字排列的原理,真的有點傻眼想說要怎來弄這塊

而這還不是結束,排列之後,
假設你今天 10 篇文章進來你就必須要去統計這十篇文章的新字根

然後呢?

十篇文章要一一跟這些字根去比對,
然後列出每篇文章出現的各個字根次數。

這都是我以前完全沒有想說過會接觸到的 Q_Q

寫起來好抖,而且還要把紀錄都寫到記事本裡面去,而不是開資料庫來儲存

雖然說提升 skill 也不錯,可是長期下來懷疑自己可以撐下去嗎 QQ"
我還很嫩的啊!

留言

這個網誌中的熱門文章

杉林國小數位教學

這是上了研究所所修習的一門課,老師希望我們到偏遠地區的國小, 運用我們所學教那邊的小孩子,減少數位落差, 而我們那天的目的地則是位於旗山鎮杉林鄉的杉林國小。 要說到杉林國小之前,先來說說它的歷史, 杉林村隔壁村是木梓村,同樣也有一間木梓國小, 但是木梓國小由於人數不足的關係,已於幾年前跟杉林國小併校, 木梓村的小孩每天都會由校長開車到該村莊接受,全程來回四公里左右。 杉林國小會不會也有人數不足面臨被併校的危機? 答案是不會的! 由於地理以及族群的因素,使得杉林國小有基本的學生人員, 楠梓仙溪一隔隔出了不止地理上的界線,也隔出了兩個族群間的隔閡, 客家子弟不會到杉林村的閩南小學上課, The same,杉林村跟木梓村的小孩也不會到上平國小上課, 但是偏偏客家卻是杉林鄉的大宗! 所以一河之隔,杉林村與木梓村似乎變成少數的閩南族群。 不過這邊的居民對於杉林國小的客家老師倒是出乎我們意料的客氣。 杉林村跟上平雖然只隔著一條楠梓仙溪,卻是兩個不同的世界, 如果上坪的房子建設跟都市差了有十年的時光以上, 那麼杉林可能就是二三十年前的台灣早期農業社會。 在杉林村住家幾乎看不到所謂的透天樓房,如果看到有樓房的, 就可以稱得上當地的有錢人,聽聞校長講, 有學生的住家進去還不是平常我們所看到的水泥地,而是一堆爛泥巴堆砌而成的地面。 這裡是一個看不見未來的村落! 不僅土壤呈現酸性一年四季只有一季可以收成, 就連緊靠楠梓仙溪也探不得地下水源,這邊的家庭只要沒有耕作就沒有基本收入, 錢大多都是靠著打零工而來。 但打零工來的錢卻鮮少花在孩子的教育上,不是都拿去買酒就是買檳榔,甚至是毒品! 這裡的人拜訪時大多都有一個相同的特徵,一口的血色以及發黃稀疏的牙齒。 前陣子還有高捷有工人缺可以接接臨時的粗工,現在高捷完成了, 這邊的失業率是另一個問題的開始。 數位教學的過程中,接觸小朋友天真卻又現實殘酷的跟我們說, 我爸媽都說讀到大學都不一定找得到工作了!那為啥要繼續唸書唸上去呢? 這邊不是沒有學習的楷模,只是這樣的榜樣太少了, 少到讓他們覺得人生一輩子就是這麼過下去了! 杉林村跟木梓村兩個村莊合起來 1747 人,只有兩位學習的楷模, 一位目前任教於高師大擔任助理教授,一位是旗山分局的局長。 公車這裡一天只來二至四個班次,但對於這邊的人可能連車錢都是個負擔。 曾有一段颱風時間,杉林大橋被河水沖斷, 這

owl city 貓頭鷹城市 - fireflies

無意間找到的樂團,說是樂團好像也只有一人 Adam Young 而已 找了一下相關資料,是個最近在美國以及 iTunes 竄紅的知名歌手 這首歌的旋律輕快中帶點讓人舒服的感覺 看了一下歌詞的意境果然是寫的滿詩意的 :P You Would Not Believe Your Eyes If Ten Million Fireflies Light Up The World As I Fell Asleep Cause They Fill The Open Air And Leave Teardrops Everywhere You'd Think me Rude But I Would Just Stand And stare   I'd Like To make Myself Believe That Planet earth Turns Slowly It's Hard To Say That I'd Rather Stay Awake When I'm Asleep Cause Everything Is Never As It Seems   Cause I'd Get A Thousand Hugs From Ten Thousand Lightning Bugs As They Tried To Teach Me How To Dance A Foxtrot Above My head A Sockhop Beneath My Bed Sockhop A Disco Ball Is Just hanging By A thread   I'd Like To make Myself Believe That Planet earth Turns Slowly It's Hard To Say That I'd Rather Stay Awake When I'm Asleep Cause Everything Is Never As It Seems When I Fall Asleep   Leave My Door Open Just A crack (Please Take Me Away From Here) Cause I Feel Like Such An Inso

Plurk

厭煩 Blog 每篇文章要打一堆文字,才覺得這樣才有充實感嗎? 那你絕對不可以錯過這個 Plurk ! Plurk 跟 Twitter 都算是設計給輕度而當下只想透過一句話紀錄心情的使用者所使用, 像似我可能 下午 16:32 分覺得老師上課實在很無聊,我可能上去丟一句「快要睡著了!」 下午 17:21 分肚子餓了,可能打一句「晚餐要吃啥好呢?」 不過研究所同學聽到這樣的解釋, 卻說這不就是讓你自言自語 murmur 的意思嘛 XD" 但卻有那麼一點不一樣,這像是一個圖形化的 BBS 可以讓你跟你的朋友 24 小時對話,或是抒發你的情感! 我們 lab 就常常利用這個你一言我一語啦賽 XD" 當然你也可以設定哪些朋友是想讓他們看到的限制! 除此 Plurk 還精心設計了時間軸,以及很多分享的機制,像是你可以分享 圖片、或是 youtube 的影片等 .. 另外是不少人也開始支援 plurk 設計提供自己的主題,讓大家使用 當然你也可以自己設計屬於自己的 plurk 相關的 plurk 主題可以到這找 http://www.plurkthemes.com