此外,也試著加強系統設計的功力,一開始是先看了 Distributed Systems Course 但感覺也沒什麼進步的感覺,所以又訂閱了 Educative,原本是想要學一些像是 Grokking the System Design Interview 的課程,但是後來雖然花了錢,卻沒有實際上到多少課,主要還是心力不足。
「第二個例子是我覺得目前我運動的時間太少了。一部分的原因是因為我的意志力真的很差,一旦心力被其他事物耗費,就很難提起勁來說服自己運動了。事實上就算是學生時期我都無法完全維持持續運動的習慣,人生中我唯一成功達成持續運動的時刻只有少數的 gap years/months 時期,也就是沒有外界責任的時候。」
學期結束後,因為就讀的 program 是研究導向,所以還有最後的暑期研究生活。當時就一邊應付著 research project 的需求,一邊做著自己的研究。那時主要在做用 Generative Adversarial Networks 類型的 loss 訓練出來的 language models。在加入許多怪奇的技巧後,可以在傳統的 evaluation metrics 上達到跟一般 MLE 訓練的模型類似的效果,遠超過其他 GAN 訓練出來的 LMs。但是實際上除了他的 loss 看起來像 GAN 以外,其實沒什麼特別的優點,還不如用傳統方法 MLE 訓練就好,所以其實好像沒什麼應用面的價值。後來沒能成功在暑期假期間將其寫成論文投稿,之後也因為沒有繼續做 NLP 研究了,就把他擱置了。
感謝 Peter 等同學陪著我討論,並且嘗試各種奇怪的想法,那段日子感覺真的很有趣。因為有了這樣的經驗,終於開始有了信心,覺得自己對機器學習的能力,或許並不像自己想的那麼差呢。若沒有這段期間的爆衝,大概我就會留下遺憾了。但經過這樣一番嘗試之後,覺得自己終於成功了使出了全力,進入了心流狀態。只可惜就算這樣結果還是沒有發表出什麼成果,但這樣也就滿足了,可以往下個目標邁進了。
另一方面,新學期開始後,接下了 TA 的工作,雖然理論上應該會變得更忙碌。但因為本來在頭痛循環下本來就只有約一半的時間可以有生產力,而這學期幾乎 99% 都可以有生產力了,所以似乎也還算忙得來。反而因為當了 TA 跟同學們以及其他 TA 有了更多的互動,因此留下了許多不錯的回憶。
另方面,開始為了求職,進入了瘋狂面試的時期。雖然不是完全順利,像是投 Google 的時候居然履歷關就被拒了,實在十分遺憾。但在一些小公司面試的時候,雖然一些 ML 的問題不像 LeetCode 一樣可以刷題準備,但我似乎也答的不錯,以至於拿到了些許 offers,還有些面試官讚譽有佳。這讓我對 ML 的信心又增添了不少。