【2024 NCHC, NVIDIA, OpenACC 黑客松】— 生成式AI加速成果

[Speeding NVLM Decoder Inference Computation]

 
NYCU HPC Team 團隊來自 陽明交通大學，將 NVLM 加速37.81倍！！
* Team Members: Chu-Siang Tseng, Shun-Yu Yang, Cheng-Wei Lin, Chen-Kai Chang, Zong-Hua Wu, Jia-Hui Shen
* NVIDIA Mentors: Shijie Wang.

在NVLM推理上的加速研究是一個極具潛力的領域。NVLM（NVIDIA Vision Language Model）是一種尖端的多模態大模型，其結合了文本和圖像的處理能力，並在視覺-語言任務上達到了最先進的成果。加速推理過程能夠顯著降低計算資源和時間的需求，使這些強大的模型能夠更快地應用於現實情境，例如圖像識別、文檔分析、以及視覺問答等應用。
這個領域的重要性在於多模態模型的廣泛應用潛力，尤其是那些需要即時回應的場景，如自動駕駛、醫療診斷或智能助理系統等。加速NVLM的推理能讓模型更加高效和實時，進一步推動其在工業界和日常生活中的普及和應用。
目前的加速研究已經顯示出明顯的成果，透過優化模型架構（例如混合架構和動態高解析度影像處理），推理速度提升了，並且能在保持甚至提升模型準確性的同時減少計算成本。這樣的加速帶來了多方面的影響，不僅降低了硬體資源的消耗，還使得這些多模態應用更為普及，進而推動整個AI領域向著更高效、更智能的方向發展。
 

更多資訊請看：
https://github.com/nqobu/nvidia/tree/main/20241204 

[Plantman：農業病蟲害AI辨識與諮詢助理]

 
Plantman來自臺灣大學生物機電工程系郭彥甫教授實驗室，將RAG流程加速10倍！！
* Team Members: Jonas Tsai, Yun Lin, Sheng-Chieh Lai, Yu-Fei Shih.
* NVIDIA Mentors: Cliff Chiu.
Plantman是一個結合LINE聊天機器人、影像辨識與自然語言生成技術的人工智慧系統，旨在為農民提供自動化的病蟲害、害蟲及生理障礙影像識別和即時問題諮詢服務。該系統能夠幫助農民快速識別植物病害，並提供即時的專業建議，提升農業生產效率和作物健康管理。
當用戶向Plantman詢問病蟲害相關問題時，系統會運用增強生成技術（Retrieval Augmented Generation, RAG），結合資料庫中大量台灣植物病蟲害的資料，迅速搜尋與問題相關的文獻。此過程中，Plantman會利用大型語言模型（Large Language Model, LLM）來生成精確且易於理解的回應，幫助使用者解決農業問題。
然而，在最初的版本中，文件搜尋和文本生成過程較為繁瑣，這意味著用戶在提出問題後需等待數十秒才能獲得回應，影響了使用者體驗。
為了顯著提升反應速度和使用者滿意度，在黑客松期間，開發團隊採用了NVIDIA開發的TensorRT與TensorRT-LLM模型優化函式庫，針對A100 GPU的推論能力進行強化。這些技術能夠加速文件搜尋和文本生成的運算過程，並且結合動態批次處理技術（dynamic batching）來提高GPU的處理效率，從而顯著縮短推論時間。
通過這些技術的應用，團隊成功實現了端到端推論速度的提升，達到了10倍的加速效果。最終，優化後的Plantman能在約3秒鐘內完成病蟲害資料的搜尋並生成回應，極大地提升了用戶體驗和系統的實用性！
  
更多資訊請看：https://github.com/nqobu/nvidia/tree/main/20241204