演算法與資料庫的拉鋸戰

上禮拜剛從研究所老闆那邊接手一份工作過來，
內容大概是這樣子的，
要處理研究所學長當初建的論文檢索系統，一些 error data 的 lose value 回復

學長是有建議要不要整個重抓
可是苦於程式部分可能修改完後不知道還有哪裡錯，
所以決定用既有的 DB table 去補足這些 error data lose value

剛開始以為很簡單，就是簡單的 join 比對咩

所以假日晚上想說這很快就可以解決了，把 code 大致寫好後，
嘿嘿嘿，準備啟動了！

耶耶？ o_0?

怎麼畫面一直出不來？我程式寫錯了嗎？

想說不會吧！重新寫了一個比較小的程式去叫資料庫，竟然也花了 30 秒！

耶耶？

怎可能花這麼久呢？ o_0?

跑去問了一下專家們，
專家給我建議是你要不要寫行隨時看看程式跑到哪，
接受專家的建議改了一下程式下去跑之後才發現，我的程式沒有錯，
只是資料量太大了！

如果要算我程式的 big-O ，那大概是 10*10w*40w 囧>?

於是到這邊我就開始在想，不會是我演算法寫的太爛吧？
之前都是自己寫資料庫自己玩一玩，沒碰過大資料
如果到外面大公司那麼多的資料可能比這更多，還是跑這麼慢怎辦？

於是又開始問專家們意見，

專家跟我說要不要整個 table 砍掉重練，
可能是 table structure 當初建得不好。

也有建議要不要用 hash 概念來做
受惠還滿多的，

不過想到說這樣大工程不適合自己一下子馬上動手改，
還是跟老闆商量看看好了，

沒想到老闆提出倒回來的想法，

big-O 馬上變成 10w*10w

真是天壤之別，雖然說還是很大 囧>"

可是比我那爛方法快上整整 40 倍，

又上了一課了！我果然是嫩逼！ XD"