文字探勘與分析

  • 技術簡介

因應在雲端計算上有效地進行大資料分析,國網中心發展了多樣式的資料型態處理技術,而「文字」即是非結構化資料中的一種。文字探勘主要透過各種文本分析技術達到探索文字資料中感興趣資訊及挖掘有用知識等,以提供決策支援。另外,透過統計方法(Statistical approaches)、自然語言(Natural Language)、機器學習/深度學習(Machine Learning/Deep Learning)等方法發展相關應用所需的技術與模式。國網中心基於這些方法利用高速運算與高容量索引儲存架構,發展詞彙向量化生成、文本標註、文本分類分群、關聯分析、意見分析及事件偵測等相關技術,同時已應用於災害訊息分析、食安議題監測、異常紀錄分析、議題偵測與分析、社群網路分析等研究領域。

  • 科學突破
    • 克服傳統文字探勘受語意關聯技術限制,提供更高品質的詞彙語意關聯度,並拓展文字探勘技術與應用,包括文本篩選、文本分類、事件偵測等
    • 利用機器學習方法探討社群網路關聯,以及議題偵測與變動
    • 分析設備紀錄檔,有效異常事件偵測與預測
    • 應用深度學習技術分析影像物件轉譯文字,並分析影像動態行為模式

  • 產業運用

提供產業對於非結構化文本資料有效地處理與儲存服務,以及後續應用分析。文字探勘技術可協助產業將既有的文件資料、系統紀錄檔、設備監測記錄、維修紀錄等文本資料,透過分析達到有效管理,處理異常事件偵測與預測、維護週期預測分析等。

這是一張圖片

文字探勘與分析