玩資料視覺化， 經常需要從網頁上下載表格， 再轉成 csv。 以前就曾搜尋到 sebsauvage.net 上面的 html2csv.py， 後來忘記了； 最近又重新發現一次。 很簡單： python2 html2csv.py abc.html 它會把 abc.html 裡面的所有表格串在一起， 產生一個 abc.csv 。 如果有合併列或合併欄等等比較複雜的狀況， 還是需要後續處理， 但至少比自己寫 regexp 簡單多了。 全文完。 喂～ 這樣就結束？ 這篇未免太 ㄌㄢˋ　ㄩˊ　ㄔㄨㄥ　ㄕㄨˋ 了吧！ [現在有同音異字的成語太多了， 我都不知道國字該怎麼寫才對...] 至少應該要交代一下如何取得 html 啊。 如果是大量的靜態網頁， 可以用 wget 或 lynx -dump 或 curl 取得。 有可能需要 設定 user agent 才不會被網站拒絕。 如果是

有些 FB 網紅大大的頁面明明是公開的， 但讀者卻必須登入他自己的 FB 才能閱讀網紅大大的貼文。 這樣的設定對於保護隱私完全沒有幫助。 (事實上 「臉書上的隱私」 本來就只是一種幻想， 看看 性工作者身份暴露的故事 就知道臉書的可怕) 這只會犧牲自己的人氣幫 FB 換取更多的追蹤訪客的機會， 好像店長僱了一位街頭小弟幫你發商店傳單， 小弟卻對訪客說： 「你先加入XX幫， 才可以進來消費」 一樣， 仿佛又回到了十年前 網站自殘 -- 微軟綁架你的點閱率 的年代。 因為我是 無賴 不要臉的邊緣人， 不太會用 FB， 不太確定自己的 FB 是否也跟小英總統一樣設壞掉了？ 總之如果讀者知道該如何更改這個設定， 讓沒有登入的訪客也能看自己的 FB 公開貼文， 麻煩分享一下， 讓這些網紅大大不再犧牲自己的人氣幫 FB 強迫推銷。 但是在那麼多網紅大大學會更改設定之前， 我們路過的訪客還是可以

還記得小時候學的 (沒有刻度的) 直尺與圓規作圖嗎？ 光用這兩個工具， 就可以畫出相似三角形、 三角形的外接圓/內切圓等等圖形。 這是很燒腦又很好玩的益智遊戲。 用電腦畫更好玩， 因為繪圖完成後， 你可以用滑鼠抓著原圖的頂點或圓心， 改變原圖 (例如三角形) 的大小/形狀/位置的同時， 看著衍生圖 (例如外接圓或內切圓) 跟著變動， 超有成就感！ 十幾年前我寫過 DrGeo: 物理老師也會心動的幾何教學玩具。 後來 Dr. Geo 大改版； 幾個月前得知： 新版的 Dr. Geo 不僅支援中文顯示， 也支援中文輸入， 今天終於要來重寫一篇新版的介紹文了。 一、 欣賞現成作品 每學期上課都拿三角形外接圓來示範 Dr. Geo， 有點玩膩了。 今天換一下題目吧： 平面上給定線段 AB 及另一點 C。 以 A 為圓心， AB 為半徑， 畫一圓 O 。 求 「通過 C 點的圓 O 的

完整的自然語言語音辨識很複雜； 但在很多應用場合中， 如果可以讓用戶以十來個簡單語音指令控制電器/電腦/apps， 就已經很方便了， 而想要訓練這樣的類神經網路， 門檻當然比完整的語音辨識低很多。 Simple Audio Recognition (以下簡稱 SAR 一文) 所介紹的 tensorflow 原始碼當中的 speech_commands 範例， 就是這樣的工具。 餵一段一秒鐘的聲音， 它會判斷這是 "yes", "no", "up"、 "down"、 "left"、 "right"、 "on"、 "off"、 "stop"、 "go" 當中的哪一個語音命令， 或是未知的聲音 (UNKNOWN) 或是無聲 (SILENCE) (其實可能是很小聲的背景噪音)。 假設讀者已經先照著 貴哥的 colab 初學筆記 認識了 colab 的基本操作， 今天這篇文章將接續著帶大家

Google colaboratory 提供短暫 (數小時) 的免費雲端 GPU 算力， 真是深度學習初學者的福音啊！ 前提是你要有 google drive 的帳號， 並且略會操作 Jupyter Notebook。 網路上已有很多入門教學文； 貴哥一看到有 shell 可用， 忍不住就好奇多探索一些， 於是也寫一篇自己的初學筆記。 基於 「站在巨人肩膀上」 的原則， 比較多人介紹的基本操作就只簡單帶過， 細節可參考 台大機械所 Wei-Hsiang Wang 的 Colab 基本操作筆記 (中文) 及 fuat 的 Google Colab Free GPU Tutorial (英文) 一、 試車 我看到的文件都說： 進 google drive、 進入一個任選的目錄、 按右鍵就會出現一個 「(建立) colaboratory (文件)」 的選項。 不知是不是因為

不太確定為什麼， 偶爾會遇到 docker pull 抓映像檔抓到一半突然卡住不動。 很多人都遇過相同的問題， 而且很多年了都沒有解決， 到現在 Bounty Source 還在懸賞。 我在電腦教室特別常遇到這個問題； 可惜上課期間來不及研究。 這篇的目的是希望下次再遇到時， 可以做一些實驗， 確認一下到底是伺服器那頭的問題， 還是我們這頭的問題。 如果夠多人測試不同的排列組合， 並且到上述 issue 回報自己的排列組合， 說不定對開發者除錯會有一些幫助。 以下提到設定檔的地方， 都以 lubuntu 18.04 bionic beaver 為準。 一、 禁止平行下載 我曾經遇過： 用 ctrl-c 把自己的下載中斷掉， 學生們的下載就突然繼續動起來了。 所以跟 這個回答 有相同的猜測： 設定禁止平行下載有沒有用？ 編輯 /etc/docker/daemon.json

我是奉行 unix 哲學 的文字檔控。 用 grep 從 csv 檔撈資料的時候突然想到： 可不可以改用 SQL 指令來查詢 csv 檔呢？ 果然搜尋到 q 跟 textql 兩個專案。 而且後者直接用 apt install textql 安裝就可以用。 這工具除了讓 SQL 老手可以很方便地檢索 .csv 檔之外， 也很適合拿來當作 SQL 語法入門， 讓初學者可以 (省略無聊而繁瑣的建立資料庫步驟) 在十分鐘之內單刀直入從 (比較有趣的) SELECT 指令開始學起。 請下載兩個測試檔： 「台股所有上市櫃個股收盤價」 price.csv (整理自 證交所 及 政府開放資料) 還有今年所有個股的股利政策及除權息時間 dpann.csv (整理自 撿股讚)。 然後把兩個檔案最上方的 「代號」 都改成 sid， 「名稱」 都改成 name。 alias tql='

我每年會備份一次個人檔案。 硬碟上有歷年的 .tgz 備份檔。 有時需要把舊文件挖出來看。 問題是： 不記得我要的檔案在哪一年份的備份裡。 於是逐年 [解壓縮、 搜尋、 刪掉] 直到找到為止， 有點麻煩。 今天終於發現一招好用的方案： 採用 AVFS。 首先安裝 avfs 套件： sudo apt install avfs。 然後用普通用戶的身份執行 mountavfs 。 再下 mount 指令查看， 會看到多出一列類似這樣： avfsd on /home/$USER/.avfs type fuse.avfsd (rw,nosuid,nodev,relatime,user_id=1000,group_id=1000) 進入 /home/$USER/.avfs/home/$USER ， 裡面看起來跟家目錄沒什麼兩樣。 但是！ 隨便找一個 .tgz 或 .zip 的壓縮檔， 在

從去年起， chrome 已經開始把 http (沒有 s) 的網站標示為不安全了。 現代的站長一定要學會 用 let's encryp 把 http 網站升級成 https 網站 (中文)。 但是如果你 (1) 擁有同網域底下一整個艦隊很多個網站， 但是 (2) 懶得逐一申請， 而且 (3) 委託代管 DNS 或自管 DNS， 那麼就可以直接拿同一個憑證給同網域的所有網站共用。 例如我擁有 frdm.info， 委託 pchome 代管 DNS， 而且想要讓 abcdef.frdm.info 跟 uvwxyz.frdm.info 及其他子網域都共用同一組 ssl 憑證。 以下就是我的筆記。 也可以參考 Sam Tang 的中文文章 跟 Saurabh Palande 的英文文章。 我的伺服器跑的是 ubuntu 18.04。 所以先這樣安裝所需套件： apt