更新時間:2023-11-24 09:10:05作者:佚名
背景需求
隨著行業數字化變革的快速發展,大數據技術在諸多領域得到了越來越廣泛的應用。但是企業的數據量日益龐大、相關文檔繁雜、底層平臺也越來越豐富,各類各樣的應用需求如數據管理、數據剖析、資源協調等須要一個統一的平臺來集中實現。與此同時,目前行業大數據剖析應用開發面臨突出的技術人才過剩問題,這急切須要從中學教學和社會職業技術培訓兩個角度,培養大量熟練把握大數據剖析編程開發技術人才。大數據早已逐漸發展成當前的熱門課程,社會職業培訓以及院校甚至小學,都非常重視大數據編程技術的教育培訓。因此,須要提供一種高效靈活和易學易用的大數據編程開發和教學實訓平臺。
產品介紹
山西鴻程大數據研究院開發了一款輕量級、通用化、易學易用的大數據與AI教學實訓編程平臺,可支持高效靈活和便捷快速的行業大數據交互式剖析編程與應用開發,同時可作為易學易用的大數據教學實訓平臺。該平臺提供廣為使用的、Java、Scala數據剖析編程語言與環境,底層集成了、Spark等大數據估算平臺,以及HBase、Hive、等多種分布式大數據儲存平臺,并提供大數據剖析算法與可視化詮釋能力,提供統一用戶認證管理和多住戶資源共享使用能力,以及良好的系統運維能力大數據編程培訓,系統具有良好的高可靠性和高擴充性。平臺適用于各行業與軟件企業的大數據剖析應用開發,以及院校和培訓機構的大數據與人工智能課程教學與科研實訓。
平臺構架
應用案例
除可廣泛使用于行業大數據應用編程開發平臺以外,本平臺還可以廣泛應用于大數據與人工智能課程的教學實訓,已在上海學院大數據課程教學實踐中應用多年,始終為南大的大數據課程教學與實驗提供了良好的支撐;據悉,平臺進一步在上海工程大學、南京外粵語中學在內的諸多院校和中學分校得到推廣應用,積累了豐富的大數據與人工智能教學實驗案例,取得了十分明顯的應用成效。
功能特點輕量級、通用化、易用化
易學易用的輕量級大數據與AI教學實訓編程平臺,可便捷快速完成大數據剖析編程與應用開發
編程環境無縫融合
無縫融合基礎開發編譯平臺,可與企業原有項目代碼實現一鍵導出
常用編程語言與Web開發環境
提供、Java、Scala等大數據剖析編程語言環境以及基于Web的開發環境
系統免安裝配置,便捷易用
系統不須要在用戶端做任何安裝配置,防止用戶在底層自動配置和切換不同的大數據系統平臺
大數據與AI教學科研編程平臺
可擴充為大數據與AI教學實踐與科研實訓平臺,為院校提供大數據與AI教學科研實訓平臺
外置主流大數據平臺
外置、Spark等多種大數據估算平臺大數據編程培訓,支持穩定可靠的大規模數據剖析處理與估算任務
大數據剖析算法與可視化詮釋
提供數據剖析與機器學習算法,支持柱狀圖、散點圖、熱點圖以及網路關系圖等數據可視化詮釋
多數據源/數據庫支持
可集成HDFS、、HBase、Hive、等分布式文件系統與數據庫,可基于Web界面統一管理數據
用戶統一認證與權限管理
為平臺用戶提供統一管理能力,完成用戶注冊、登錄、認證、權限管理,以及資源使用情況審計
多住戶共享平臺與資源
支持基于YARN的資源共享分配和調度使用,提供對Spark、計算平臺的多住戶資源隔離
系統運行維護與擴充
支持對集群上分布式系統的狀態監控,提供系統失效容錯恢復能力,并可依照須要快速擴充集群規模