一站式AI模型市集：結合開發、測試、落地，輕鬆打造AI應用

貢獻撰文研究成員：游輝宏、陳威宇、盧沛怡、孫振凱、蔡建宏、張文鎰

AI進入高速成長期，各種應用快速浮現。臺灣作為全球科技產業重鎮，產學研界也大力投入相關發展，國網中心結合高速運算主機與高速網路等基礎建設所打造的AI模型市集，可加速我國AI發展，學研機構可在平台上開發、上架AI模型，讓研發成果有機會與產業連結，進而落地使用。 

國網中心的AI模型市集計畫始於2021年，最早開發緣由乃因提供一AI模型共享環境予國科會推動的「臺灣AI卓越中心」(Taiwan AICoE)轄下AI研究計畫。目前以學研單位為主要開放對象，未來平台也將開放給外界使用，希望藉由國網中心高速運算與儲存空間的基礎建設資源共享，降低AI研發門檻。 


國網中心AI模型市集平台

AI模型市集為一站式服務架構，整合資料、模型、運算和管理等四大功能，並串聯國網中心既有的資料市集服務，使用者可在此平台上的開發環境開發或上傳模型程式，再透過國網中心提供的AI模型訓練環境與多種AI開發工具，建置與訓練模型，平台內建整合了MLflow工具，供開發者管理模型參數實驗紀錄，並進行調校和測試，從中選擇最優模型。 

完成開發的模型可上架至平台，供需求者訂閱使用，此外使用者還可透過API連結至自身系統，從而擴大應用範圍，上傳模型的學研單位也能在平台上持續優化成果，並管理訂閱事宜。此平台的運作模式採PaaS (Platform-as-a-Service)架構，平台本身為免費使用，運算或儲存資源則是按需求收費，使用者可透過國網中心iService計算資源服務網的額度支付，在平台上創建虛擬機器、利用運算資源訓練模型、開發API。 


AI模型市集架構

國網中心AI模型市集是國內目前唯一以學研界需求為考量的平台。由於開發AI模型需投入大量資源打造合適的軟硬體環境，對資源有限的學研界而言是沉重負擔，再加上學研機構的研究計畫，大多集中在前端的模型開發，研究成果在計畫結束後往往被擱置。國網中心的HPC運算效能強大、配置先進，且資安防範機制都已通過嚴格認證，學研單位可用有限資源開發與執行各種AI模型，完整覆蓋開發、維運、應用等環節的AI模型市集，則可讓研發成果有機會落地實用，同時促進國家數位化發展 。

AI模型市集的初步架構已經完成，國網中心團隊正持續優化內部功能，2023年底推出新版本，並以內部的示範性計畫，做為資料模型建置、上架管理等功能測試，初步測試完成後再擴大納入其他AI計畫進行，了解平台是否可滿足使用者的服務管理需求，同時調整運算資源配置。 

應用對象方面，AI模型市集的第一階段以學術界為主，未來將視使用狀況擴展至產業端。國網中心所設計的平台具備高度靈活性與擴展性，可滿足不同領域對AI開發環境的需求，協助臺灣各界加快AI研發腳步，提升國家競爭力。
 
整合Gradio直觀展示機器學習模型