國家高速網路與計算中心
【2023 NCHC, NVIDIA, OpenACC 黑客松】-人工智慧應用加速成果
AI 元年，我的 AI 比你快 3 倍！
人工智慧的重要性體現在它能處理大量資料、自動化重複性任務，以及具有模式辨識能力。更快的推論速度對即時應用、提升用戶體驗以及節省資源具有重要意義。在即時應用中，如自駕車、醫療診斷等，快速的推論速度確保模型能在實時環境中做出即時反應，提高系統實用性。同時，快速的推論速度也有助於提供更流暢的用戶體驗，並節省計算資源，降低能源消耗，提高系統效能。總體而言，AI的應用和更快的推論速度共同推動著科技的進步，改變著各行各業。
NCHC Speedrunning 團隊成員來自 國家高速網路與計算中心，將AI超大語言模型加速3倍！
* NVIDIA Mentors: Anthony Chang, Cliff Chiu.
國科會推出的臺灣版ChatGPT已經初見成效，不僅擁有70億參數的模型，還進入了公部門應用討論階段。這款稱為可信任AI對話引擎（TAIDE）的模型是以繁體中文資料訓練而成，強調以臺灣文化為基底，具備臺灣特有的用語、價值觀和文化知識，能夠回答在地使用者的問題。
超大語言模型（LLM）具有強大的語言理解能力，但同時因為模型巨大，推論速度變成應用的挑戰之一，為了提供更便捷的服務，讓更多的使用者能夠利用這些廣泛的語言模型，團隊透過TensorRT-LLM 對訓練過的模型進行優化，獲得3倍以上的加速效果。
benchmark
TensorRT-LLM 真的非常好用，僅利用軟體優化，竟然就把同樣的LLM模型加速3倍！迫不及待測試H100，預期會有更多的加速效果。
– 國網中心NCHC Speedrunning 團隊
更多資訊請看：
https://github.com/nqobu/nvidia/raw/main/20231207/Team12.pdf
WTMH 團隊成員來自成功大學生物醫學工程系 林哲偉老師實驗室，將AI心電圖篩檢系統加速40倍！
* NVIDIA Mentors: Ken Liao.
為了實現"即時"的心律不整篩檢，有必要加速整個篩檢流程，團隊使用 TensorRT將模型優化，並且搭配 Triton Inference Server，達到穩定而顯著的加速，在超過 1000 筆心跳的資料上，能加速超過 40 倍。
更多資訊請看：
https://github.com/nqobu/nvidia/raw/main/20231207/Team08.pdf
TXM_AI_group 團隊成員來自 同步輻射中心實驗室，將AI醫療影像生成加速30倍！
* NVIDIA Mentors: Warren Tseng.
使用同步輻射光源的穿透式X光顯微成像系統中，拍攝到的影像會受到不均勻光源影響，導致樣品影像模糊不清。因此，我們提出深度學習的新方法，但是需要加額外傅立葉轉換的計算，訓練時間多出4倍。團隊透過MONAI醫療影像框架，使用6種不同加速技巧，加速訓練高達30倍！
更多資訊請看：
https://github.com/nqobu/nvidia/raw/main/20231207/Team11.pdf
CYCU BME 團隊成員來自中原大學資工系 葛宗融老師實驗室，將耳底鏡AI模型加速1.4倍！
* NVIDIA Mentors: Eason Hung
檢耳鏡是最常被應用與方便的診斷工具，可直接觀察耳道內的內皮細胞增生情形、耳垢顏色、耳垢量以及耳道內是否長瘜肉等評估耳道疾病的嚴重性以及據此鏡檢結果選擇治療方式。 團隊透過深度學習算法YOLO物件偵測技術設計診斷系統，並透過TensorRT讓模型大幅加速！
Otoscopy diagnosis
更多資訊請看：
https://github.com/nqobu/nvidia/raw/main/20231207/Team06.pdf
YSS 團隊成員來自台灣大學資工系 洪士灝老師實驗室，將AI加密演算法加速2.2倍！
* NVIDIA Mentors: CK Lee, Tian Zheng, Frank Lin.
新興的AI科技展現了在多個應用領域的潛力。然而，使用使用者收集的資料訓練神經網路模型時，隨之而來的高度隱私敏感性使得隱私問題變得嚴峻。為了保護使用者原始資料，團隊研究Functional Encryption加密技術，但單用CPU無法滿足運算需求，因此團隊將加解密運算移植至GPU加速2.2倍！
更多資訊請看：
https://github.com/nqobu/nvidia/raw/main/20231207/Team10.pdf
