公共和私人機(jī)構(gòu)以及研究項(xiàng)目正在收集大量數(shù)據(jù)，而互聯(lián)網(wǎng)則提供了有關(guān)人類生活和社會(huì)幾乎方方面面的大量信息。對(duì)這些數(shù)據(jù)進(jìn)行分析可以為企業(yè)帶來(lái)巨大收益。本課程重點(diǎn)介紹數(shù)據(jù)挖掘領(lǐng)域的技術(shù)和研究。它側(cè)重于算法和技術(shù)，而較少涉及數(shù)學(xué)和統(tǒng)計(jì)基礎(chǔ)。這篇文章為大家?guī)?lái)澳洲ANU COMP3425 Data Mining課程指南。

一、學(xué)習(xí)成果

成功完成學(xué)業(yè)后，學(xué)生將掌握以下知識(shí)和技能

1.對(duì)數(shù)據(jù)挖掘過(guò)程中涉及的步驟進(jìn)行批判性分析和論證。

2.預(yù)測(cè)和識(shí)別與數(shù)據(jù)挖掘相關(guān)的數(shù)據(jù)問(wèn)題。

3.測(cè)試和應(yīng)用數(shù)據(jù)挖掘中使用的主要算法和技術(shù)。

4.針對(duì)給定的數(shù)據(jù)挖掘問(wèn)題，論證適合使用的技術(shù)。

5.使用適當(dāng)?shù)臏y(cè)量方法評(píng)估和思考數(shù)據(jù)挖掘項(xiàng)目的結(jié)果。

6.思考數(shù)據(jù)挖掘的倫理和社會(huì)影響。

二、什么是數(shù)據(jù)挖掘?

數(shù)據(jù)挖掘是對(duì)大型數(shù)據(jù)集進(jìn)行分類的過(guò)程，通過(guò)數(shù)據(jù)分析找出有助于解決業(yè)務(wù)問(wèn)題的模式和關(guān)系。數(shù)據(jù)挖掘技術(shù)和工具使企業(yè)能夠預(yù)測(cè)未來(lái)趨勢(shì)，并做出更明智的業(yè)務(wù)決策。

數(shù)據(jù)挖掘是整個(gè)數(shù)據(jù)分析的關(guān)鍵部分，也是數(shù)據(jù)科學(xué)的核心學(xué)科之一，它使用先進(jìn)的分析技術(shù)在數(shù)據(jù)集中尋找有用的信息。在更細(xì)的層面上，數(shù)據(jù)挖掘是數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)(KDD)過(guò)程中的一個(gè)步驟，是一種收集、處理和分析數(shù)據(jù)的數(shù)據(jù)科學(xué)方法。數(shù)據(jù)挖掘和 KDD 有時(shí)可以互換使用，但它們通常被視為不同的事物。

三、數(shù)據(jù)挖掘?yàn)楹沃匾?

數(shù)據(jù)挖掘是企業(yè)成功實(shí)施分析計(jì)劃的重要組成部分。數(shù)據(jù)挖掘生成的信息可用于涉及歷史數(shù)據(jù)分析的商業(yè)智能(BI)和高級(jí)分析應(yīng)用，以及用于檢查創(chuàng)建或收集的流數(shù)據(jù)的實(shí)時(shí)分析應(yīng)用。

有效的數(shù)據(jù)挖掘有助于規(guī)劃業(yè)務(wù)戰(zhàn)略和管理運(yùn)營(yíng)的各個(gè)方面。這包括面向客戶的功能，如市場(chǎng)營(yíng)銷、廣告、銷售和客戶支持，以及制造、供應(yīng)鏈管理、財(cái)務(wù)和人力資源。數(shù)據(jù)挖掘支持欺詐檢測(cè)、風(fēng)險(xiǎn)管理、網(wǎng)絡(luò)安全規(guī)劃和許多其他關(guān)鍵業(yè)務(wù)用例。數(shù)據(jù)挖掘在醫(yī)療保健、政府、科學(xué)研究、數(shù)學(xué)、體育等領(lǐng)域也發(fā)揮著重要作用。

四、數(shù)據(jù)挖掘過(guò)程四個(gè)主要階段：

1.數(shù)據(jù)收集。確定并收集分析應(yīng)用所需的相關(guān)數(shù)據(jù)。數(shù)據(jù)可能位于不同的源系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)湖中，數(shù)據(jù)湖是大數(shù)據(jù)環(huán)境中越來(lái)越常見(jiàn)的存儲(chǔ)庫(kù)，包含結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。也可以使用外部數(shù)據(jù)源。無(wú)論數(shù)據(jù)來(lái)自哪里，數(shù)據(jù)科學(xué)家通常都會(huì)將其轉(zhuǎn)移到數(shù)據(jù)湖中，以完成流程中的其余步驟。

2.數(shù)據(jù)準(zhǔn)備。這一階段包括一系列步驟，以便為挖掘數(shù)據(jù)做好準(zhǔn)備。首先是數(shù)據(jù)探索、剖析和預(yù)處理，然后是數(shù)據(jù)清理工作，以修復(fù)錯(cuò)誤和其他數(shù)據(jù)質(zhì)量問(wèn)題。除非數(shù)據(jù)科學(xué)家希望針對(duì)特定應(yīng)用分析未經(jīng)過(guò)濾的原始數(shù)據(jù)，否則還要進(jìn)行數(shù)據(jù)轉(zhuǎn)換，以使數(shù)據(jù)集保持一致。

3.挖掘數(shù)據(jù)。數(shù)據(jù)準(zhǔn)備就緒后，數(shù)據(jù)科學(xué)家會(huì)選擇合適的數(shù)據(jù)挖掘技術(shù)，然后實(shí)施一種或多種算法進(jìn)行挖掘。在機(jī)器學(xué)習(xí)應(yīng)用中，算法通常必須先在樣本數(shù)據(jù)集上進(jìn)行訓(xùn)練，以尋找所需的信息，然后再在全套數(shù)據(jù)集上運(yùn)行。

4.數(shù)據(jù)分析和解釋。數(shù)據(jù)挖掘結(jié)果可用于創(chuàng)建分析模型，幫助推動(dòng)決策和其他業(yè)務(wù)行動(dòng)。數(shù)據(jù)科學(xué)家或數(shù)據(jù)科學(xué)團(tuán)隊(duì)的其他成員還必須向業(yè)務(wù)主管和用戶傳達(dá)研究結(jié)果，通常是通過(guò)數(shù)據(jù)可視化和使用數(shù)據(jù)敘事技術(shù)。

海馬課堂專業(yè)課程輔導(dǎo)，2100+嚴(yán)選碩博學(xué)霸師資，針對(duì)學(xué)生的薄弱科目和學(xué)校教學(xué)進(jìn)度，匹配背景相符的導(dǎo)師，根據(jù)學(xué)生情況進(jìn)行1V1專屬備課，上課時(shí)間靈活安排，中英雙語(yǔ)詳細(xì)講解課程中的考點(diǎn)、 難點(diǎn)問(wèn)題，并提供多方位的課后輔導(dǎo)，輔助學(xué)生掌握全部課程知識(shí)，補(bǔ)足短板。