comp9313是新南威爾士大學(UNSW)大數據管理這門課程。大數據管理是對大量結構化和非結構化數據的組織、管理和治理。

一、課程指南

本課程介紹了管理大數據所涉及的核心概念和技術。主題包括：大數據和大數據分析的特點、存儲系統(如HDFS、S3)、操作大數據的技術(如MapReduce、流媒體、壓縮)、編程語言(如Spark、PigLatin)、查詢語言(如Jaql、Hive)、數據庫系統(如noSQL系統、HBase)和典型應用(如推薦系統、降維、文本分析)。

二、管理大數據的首要挑戰

大數據通常是復雜的--除了其數量和種類之外，它通常還包括流數據和其他類型的數據，這些數據是以高速創建和更新的。因此，處理和管理大數據是復雜的任務。對于數據管理團隊來說，大數據部署所面臨的最大挑戰包括以下幾點：

1.處理大量的數據。大數據集不一定要大，但它們通常是大的，而且在許多情況下，它們是巨大的。此外，數據經常分散在不同的處理平臺和存儲庫中。通常所涉及的數據量的規模使其難以有效地管理所有的數據。

2.修復數據質量問題。大數據環境通常包括尚未清理的原始數據，包括來自不同源系統的數據，這些數據的輸入或格式可能不一致。這使得數據質量管理成為團隊的挑戰，他們需要識別和修復數據集中的數據錯誤、差異、重復輸入和其他問題。

3.整合不同的數據集。與管理數據質量的挑戰類似，大數據的數據整合過程也很復雜，因為需要將不同來源的數據拉到一起用于分析。此外，由于大數據的多樣性和處理速度，傳統的提取、轉換和加載(ETL)整合方法往往不適合大數據。

4.為分析應用準備數據。高級分析的數據準備可能是一個漫長的過程，而大數據使其更具挑戰性。原始數據集往往必須為個人應用進行整合、過濾、組織和即時驗證。大數據系統的分布式性質也使收集所需數據的工作更加復雜。

5.確保大數據系統能夠按需擴展。大數據工作負載需要大量的處理和存儲資源。如果大數據系統的設計不能提供所需的處理能力，這將對大數據系統的性能造成壓力。不過，這是一個平衡的行為：部署容量過剩的系統會給企業增加不必要的成本。

6.管理大數據集。如果沒有足夠的數據治理監督，來自不同來源的數據可能不會被協調，敏感數據可能會被收集和使用不當。但是，由于大數據環境所包含的非結構化和半結構化的數據，加上經常包含的外部數據源，治理大數據環境會帶來新的挑戰。

三、大數據管理的最佳實踐

大數據管理做得好，為成功的分析計劃奠定了基礎，有助于推動企業更好地進行商業決策和戰略規劃。以下是大數據項目中應采用的最佳實踐清單，以使其步入正軌：

1.先期制定詳細的戰略和路線圖。企業應首先創建一個大數據戰略計劃，定義業務目標，評估數據需求，并繪制應用程序和系統部署圖。該戰略還應該包括對數據管理流程和技能的審查，以確定需要填補的任何空白。

2.設計并實施一個堅實的架構。一個精心設計的大數據架構包括支持數據管理活動的各層系統和工具，從攝取、處理和存儲到數據質量、集成和準備工作。

3.保持對業務目標和需求的關注。數據管理團隊必須與數據科學家、其他分析師和業務用戶緊密合作，確保大數據環境滿足業務對信息的需求，以實現更多的數據驅動決策。

4.消除互不相干的數據孤島。為避免數據整合問題，并確保相關數據可用于分析，大數據架構的設計應不含孤島式系統。它還提供了連接現有數據孤島作為源系統的機會，以便它們可以與其他數據集相結合。

5.在管理數據方面要靈活。數據科學家通常需要為機器學習、預測分析和其他類型的大數據分析應用定制操作數據的方式--在某些情況下，他們希望分析全套原始數據。這使得數據管理和準備的迭代方法變得至關重要。

6.將強大的訪問和治理控制落實到位。雖然治理大數據是一個挑戰，但它是必須的，同時還有強大的用戶訪問控制和數據安全保護。這部分是為了幫助企業遵守數據隱私法，規范個人數據的收集和使用，但管理良好的數據也可以帶來更高質量和更準確的分析。

以上就是關于comp9313大數據管理課程指南的全部內容，海馬課堂專業課程輔導，2100+嚴選碩博學霸師資，針對學生的薄弱科目和學校教學進度，匹配背景相符的導師，根據學生情況進行1V1專屬備課，上課時間靈活安排，中英雙語詳細講解課程中的考點、 難點問題，并提供多方位的課后輔導，輔助學生掌握全部課程知識，補足短板。