前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇數(shù)據(jù)挖掘范文，相信會為您的寫作帶來幫助，發(fā)現(xiàn)更多的寫作思路和靈感。

數(shù)據(jù)挖掘范文第1篇

隨著數(shù)據(jù)庫技術(shù)的不斷發(fā)展，數(shù)據(jù)庫和數(shù)據(jù)倉庫已經(jīng)被廣泛地應(yīng)用于企業(yè)管理、產(chǎn)品銷售、科學(xué)計算和信息服務(wù)等領(lǐng)域，數(shù)據(jù)量的不斷增長對數(shù)據(jù)的存儲、管理和分析提出了更高的要求，急需新一代的技術(shù)，能夠智能化的從大量的數(shù)據(jù)中提取出有用的信息和知識，于是數(shù)據(jù)挖掘技術(shù)應(yīng)運而生，且在各行業(yè)得到了廣泛的應(yīng)用。如何從海量的數(shù)據(jù)中找到內(nèi)在的規(guī)律，如何更快更方便地傳遞、交流、獲取有用的信息，挖掘這些激增數(shù)據(jù)背后隱藏的重要信息并及時進行信息的重組已成為當前我們所探究的熱點。

一、數(shù)據(jù)挖掘概述及分類

數(shù)據(jù)挖掘是近年來隨著數(shù)據(jù)庫技術(shù)和人工智能技術(shù)的發(fā)展而出現(xiàn)的一種多學(xué)科交叉的全新信息技術(shù)，是指從海量的數(shù)據(jù)中出潛在的、有價值的知識（模型或規(guī)則）的過程，反復(fù)使用多種數(shù)據(jù)挖掘算法從觀測數(shù)據(jù)中確定模式或合理模型。也就是根據(jù)預(yù)定義的目標，對大量的數(shù)據(jù)進行探索和分析，揭示其中隱含的規(guī)律，并進一步將其模型化的先進有效的技術(shù)過程。隨著計算機網(wǎng)絡(luò)的發(fā)展和普遍使用，數(shù)據(jù)挖掘成為迫切需要探究的重要課題。

數(shù)據(jù)挖掘涉及多個學(xué)科方向，主要包括摘要：數(shù)據(jù)庫、統(tǒng)計學(xué)和人工智能等。數(shù)據(jù)挖掘可按數(shù)據(jù)庫類型、挖掘?qū)ο蟆⑼诰蛉蝿?wù)、挖掘方法和技術(shù)以及應(yīng)用等幾方面進行分類。按數(shù)據(jù)庫類型分類摘要：關(guān)系數(shù)據(jù)挖掘、模糊數(shù)據(jù)挖掘、歷史數(shù)據(jù)挖掘、空間數(shù)據(jù)挖掘等多種不同數(shù)據(jù)庫的數(shù)據(jù)挖掘類型。按數(shù)據(jù)挖掘?qū)ο蠓诸愓何谋緮?shù)據(jù)挖掘、多媒體數(shù)據(jù)挖掘、Web數(shù)據(jù)挖掘。按數(shù)據(jù)挖掘的任務(wù)有摘要：關(guān)聯(lián)分析、時序模式、聚類、分類、偏差檢測、猜測等。按數(shù)據(jù)挖掘方法和技術(shù)分類摘要：歸納學(xué)習(xí)類、仿生物技術(shù)類、公式發(fā)現(xiàn)類、統(tǒng)計分析類、模糊數(shù)學(xué)類、可視化技術(shù)類。

二、數(shù)據(jù)挖掘的基本過程

(1)定義新問題。對目標有一個可行、清楚和明確的定義，同時還包含對一個結(jié)果進行衡量的標準。(2)建立數(shù)據(jù)挖掘庫。它主要是指收集數(shù)據(jù)、維護數(shù)據(jù)等工作。(3)分析數(shù)據(jù)。找到對新問題解決影響大的數(shù)據(jù)字段集和決定是否需要定義導(dǎo)出字段。(4)預(yù)備建摸數(shù)據(jù)。根據(jù)新問題的定義，對數(shù)據(jù)庫中的字段變量、記錄進行篩選，并根據(jù)現(xiàn)有的變量進行轉(zhuǎn)換，生成新的變量和字段。它主要是指為建立模型預(yù)備部分數(shù)據(jù)的過程。(5)建立模型。選擇一定的挖掘算法來處理數(shù)據(jù)，它需考察不同的模型用以判定和選擇解決新問題最有效、精確度較好的一種數(shù)據(jù)挖掘模式。(6)模型的評價和解釋。模型建立后，必須有一個對它的結(jié)果進行評價、對它的價值進行解釋的過程。(7)實施。模型建立并驗證之后通常有兩種使用方法。一種是提供給分析人員作參考和分析這個模型之后的行動方案及建議。另一種是在應(yīng)用了模型之后，還需不斷地監(jiān)控其效果，因為事物在不斷地發(fā)展變化，有可能一段時間后，模型就不再起功能川。在以上數(shù)據(jù)挖掘的基本過程中，其中數(shù)據(jù)預(yù)備、數(shù)據(jù)選擇、預(yù)處理、數(shù)據(jù)縮減的階段主要以完成數(shù)據(jù)倉庫為主；目標確定、算法確定、數(shù)據(jù)挖掘、模式識別和知識評價這幾個階段，主要以挖掘有用的知識為主，為知識發(fā)現(xiàn)做預(yù)備。

三、數(shù)據(jù)挖據(jù)的應(yīng)用

數(shù)據(jù)挖掘技術(shù)源于商業(yè)的直接需求，因此它在各種商業(yè)領(lǐng)域都存在廣泛的使用價值。現(xiàn)在已經(jīng)應(yīng)用數(shù)據(jù)挖掘技術(shù)的領(lǐng)域都是信息量大、環(huán)境復(fù)雜、需要知識幫助進行管理和決策的領(lǐng)域。下面介紹一些目前比較活躍的應(yīng)用方向摘要：

（一）在金融數(shù)據(jù)分析中的應(yīng)用。多數(shù)銀行和金融機構(gòu)都提供了豐富多樣的儲蓄，信用，投資，保險等服務(wù)。他們產(chǎn)生的金融數(shù)據(jù)通常比較完整、可靠，這對系統(tǒng)化的數(shù)據(jù)分析和數(shù)據(jù)挖掘相當有利。在具體的應(yīng)用中，采用多維數(shù)據(jù)分析來分析這些數(shù)據(jù)的一般特性，觀察金融市場的變化趨向；通過特征選擇和屬性相關(guān)性計算，識別關(guān)鍵因素，進行貸款償付猜測和客戶信用分析；利用分類和聚集的方法對用戶群體進行識別和目標市場分析；使用數(shù)據(jù)可視化、鏈接分析、分類、聚類分析、孤立點分析、序列模式分析等工具偵破洗黑錢和其他金融犯罪行為。

（二）在電力業(yè)的應(yīng)用。在電力行業(yè)中，數(shù)據(jù)挖掘技術(shù)主要用于指導(dǎo)設(shè)備更新、業(yè)績評估、指導(dǎo)電力企業(yè)的建設(shè)規(guī)劃、指導(dǎo)電力的生產(chǎn)和購買、指導(dǎo)電力的調(diào)度等。數(shù)據(jù)挖掘在電力企業(yè)的其它方面也有巨大的用處，比如說指導(dǎo)項目管理、平安管理、資源管理、投資組合管理、活動分析、銷售猜測、收入猜測、需求猜測、理賠分析等。而且當使用數(shù)據(jù)挖掘系統(tǒng)時，用戶會對模型進行調(diào)優(yōu)和定制。這將會逐步積累符合企業(yè)自身需要的模型庫，成為企業(yè)知識庫的重要組成部分。

（三）在零售業(yè)中的應(yīng)用。零售業(yè)是數(shù)據(jù)挖掘的主要應(yīng)用領(lǐng)域，這是因為零售業(yè)積累了大量的銷售數(shù)據(jù)，如顧客購買史記錄、貨物進出、消費和服務(wù)記錄以及流行的電子商務(wù)等等都為數(shù)據(jù)挖掘提供了豐富的數(shù)據(jù)資源。零售數(shù)據(jù)挖掘有助于劃分顧客群體，使用交互式詢問技術(shù)、分類技術(shù)和猜測技術(shù)，更精確地挑選潛在的顧客；識別顧客購買行為，發(fā)現(xiàn)顧客購買模式和趨向，進行關(guān)聯(lián)分析，以便更好地進行貨架擺設(shè)；改進服務(wù)質(zhì)量，獲得更好的顧客忠誠度和滿足程度；提高貨品的銷量比率，設(shè)計更好的貨品運輸和分銷策略，減少商業(yè)成本；尋找描述性的模式，以便更好地進行市場分析等等。

（四）在醫(yī)學(xué)上的應(yīng)用。近年來，生物醫(yī)學(xué)探究有了迅猛地發(fā)展，從新藥的開發(fā)到癌癥治療的突破，到通過大規(guī)模序列模式和基因功能的發(fā)現(xiàn)，進行人類基因的識別和探究。在人類基因探究領(lǐng)域具有挑戰(zhàn)性的新問題是從中找出導(dǎo)致各種疾病的特定基因序列模式。由于數(shù)據(jù)挖掘中已經(jīng)有許多有意義的序列模式分析和相似檢索技術(shù)，因此數(shù)據(jù)挖掘成為DNA分析中的強有力工具。利用數(shù)據(jù)挖掘技術(shù)在DNA數(shù)據(jù)的分析探究中可以進行DNA序列間的相似搜索和比較，對同時出現(xiàn)的基因序列的相關(guān)分析，遺傳探究中的路徑分析等。近期DNA分析的探究成果已經(jīng)促成了對許多疾病和殘疾基因成因的發(fā)現(xiàn)，以及對疾病診斷、預(yù)防和治療的新藥物、新方法的發(fā)現(xiàn)。

（五）在高校和科研單位以及其他領(lǐng)域的應(yīng)用。主要是用于海量信息數(shù)據(jù)的抽取，提供給教研和科研人員有價值的數(shù)據(jù)。比如在數(shù)字圖書館方面可以引入數(shù)據(jù)挖掘技術(shù)。同時還可以應(yīng)用的電子商務(wù)等等眾多領(lǐng)域。

數(shù)據(jù)挖掘范文第2篇

關(guān)鍵詞：數(shù)據(jù)挖掘 大數(shù)據(jù) 市場營銷 企業(yè)決策

中圖分類號：TP311.13 文獻標識碼：A 文章編號：1007-9416（2014）02-0080-02

數(shù)據(jù)挖掘又稱數(shù)據(jù)庫中的知識發(fā)現(xiàn)，是目前人工智能和數(shù)據(jù)庫領(lǐng)域研究的熱點問題。數(shù)據(jù)挖掘己廣泛地應(yīng)用到社會的各個領(lǐng)域和行業(yè)，如商業(yè)領(lǐng)域中的客戶關(guān)系、產(chǎn)品生產(chǎn)、市場營銷等；金融領(lǐng)域中的股票交易市場、投資評估等；天文學(xué)領(lǐng)域的氣象預(yù)報、氣象災(zāi)害預(yù)測等；教育領(lǐng)域的高校學(xué)生管理、高校畢業(yè)生就業(yè)分析、高校教學(xué)質(zhì)量的評估等。可以說，數(shù)據(jù)挖掘?qū)嵤翘幵谥R創(chuàng)造過程中最核心的位置，因此做好數(shù)據(jù)挖掘工作具有十分重要的意義。

1 數(shù)據(jù)挖掘的定義和本質(zhì)

對于數(shù)據(jù)挖掘一般有兩種定義，從廣義上講，數(shù)據(jù)挖掘，又稱數(shù)據(jù)庫中的知識發(fā)現(xiàn)，是指從數(shù)據(jù)庫的大量數(shù)據(jù)中揭示出隱含的、先前未知的并有潛在價值的信息的非平凡過程，就是從大型數(shù)據(jù)集中挖掘隱含在其中的、人們事先不知道的、對決策有用的知識的過程。原始數(shù)據(jù)可以是結(jié)構(gòu)化的，如關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)；也可以是半結(jié)構(gòu)化的，如文本、圖形和圖像數(shù)據(jù)；甚至是分布在網(wǎng)絡(luò)上的異構(gòu)型數(shù)據(jù)。發(fā)現(xiàn)知識的方法可以是數(shù)學(xué)的，也可以是非數(shù)學(xué)的；可以是演繹的，也可以是歸納的。發(fā)現(xiàn)的知識可以被用于信息管理，查詢優(yōu)化，決策支持和過程控制等，還可以用于數(shù)據(jù)自身的維護。從狹義上講，數(shù)據(jù)挖掘則是指從特定形式的數(shù)據(jù)集中提煉知識的過程。

數(shù)據(jù)挖掘的本質(zhì)是很偶然的發(fā)現(xiàn)非預(yù)期但很有價值的信息。這說明數(shù)據(jù)挖掘過程本質(zhì)上是實驗性的。數(shù)據(jù)挖掘的一個特定屬性就是要處理的是一個大數(shù)據(jù)集。這就意味著，由于可行性的原因，我們常常得到的只是一個樣本，但是需要描述樣本取自的那個大數(shù)據(jù)集。數(shù)據(jù)挖掘所得到的信息應(yīng)具有先前未知、有效和實用三個特征。

2 數(shù)據(jù)挖掘的發(fā)展背景

在這個信息爆炸的時代，如何從信息的大海中發(fā)現(xiàn)及時有用的知識，提高信息利用率呢？要想使數(shù)據(jù)真正成為一個公司的資源，只有充分利用它為公司自身的業(yè)務(wù)決策和戰(zhàn)略發(fā)展服務(wù)才行，否則大量的數(shù)據(jù)可能成為垃圾，甚至成為包袱。因此，面對人們被數(shù)據(jù)淹沒卻饑餓于知識的挑戰(zhàn)，數(shù)據(jù)挖掘和知識發(fā)現(xiàn)技術(shù)應(yīng)運而生，并得以蓬勃發(fā)展，越來越顯示出其強大的生命力。

數(shù)據(jù)挖掘技術(shù)是人們長期對數(shù)據(jù)庫技術(shù)進行研究和開發(fā)的結(jié)果。激發(fā)數(shù)據(jù)挖掘的開發(fā)、應(yīng)用和研究有如下四個主要的技術(shù)理由：（1）超大規(guī)模數(shù)據(jù)庫的出現(xiàn)，例如商業(yè)數(shù)據(jù)倉庫和計算機自動收集的數(shù)據(jù)記錄；（2）先進的計算機技術(shù)，例如更快和更強大的計算能力和并行體系結(jié)構(gòu)； （3）對巨大量數(shù)據(jù)的快速訪問；（4）對這些數(shù)據(jù)應(yīng)用精深的統(tǒng)計方法計算的能力。數(shù)據(jù)挖掘的核心模塊技術(shù)歷經(jīng)了數(shù)十年的發(fā)展，其中包括數(shù)理統(tǒng)計、人工智能、機器學(xué)習(xí)。今天，這些成熟的技術(shù)，加上高性能的關(guān)系數(shù)據(jù)庫引擎以及廣泛的數(shù)據(jù)集成，讓數(shù)據(jù)挖掘技術(shù)在當前的數(shù)據(jù)倉庫環(huán)境中進入了實用的階段。

國內(nèi)對數(shù)據(jù)挖掘的研究晚于國外。國家通過自然科學(xué)基金對數(shù)據(jù)挖掘的研究進行支持，很多科研單位和院校都在這個領(lǐng)域獲得了豐碩成果，這些單位包括中科院、清華大學(xué)、中國科大、復(fù)旦大學(xué)等，他們的成果為我國在此領(lǐng)域的發(fā)展起到了重要作用，得到了學(xué)術(shù)界的高度重視。

3 數(shù)據(jù)挖掘常用的方法

利用數(shù)據(jù)挖掘進行數(shù)據(jù)分析常用的方法主要有分類分析、回歸分析、聚類分析、預(yù)警分析、Web頁挖掘等，它們分別從不同的角度對數(shù)據(jù)進行挖掘。

（1）分類分析。客戶細分需要進行客戶特征分析，即用數(shù)據(jù)來描述或給出客戶或潛在客戶特征的分析過程。它可以應(yīng)用到客戶的分類、客戶的屬性和特征分析、客戶滿意度分析、客戶的購買趨勢預(yù)測等，如一個汽車零售商將客戶按照對汽車的喜好劃分成不同的類，這樣營銷人員就可以將新型汽車的廣告手冊直接郵寄到有這種喜好的客戶手中，從而大大增加了商業(yè)機會。

（2）回歸分析。如何使用數(shù)據(jù)挖掘來對不同的旨在保留客戶的活動中進行建模將對整個客戶保持工作起著重要的作用，這也就是流失模型價值所在。流失模型能預(yù)測賬號在被激活后減少或停止使用一種產(chǎn)品或服務(wù)的行為。它可以應(yīng)用到市場營銷的各個方面，如客戶尋求、保持和預(yù)防客戶流失活動、產(chǎn)品生命周期分析、銷售趨勢預(yù)測及有針對性的促銷活動等。

（3）聚類分析。通過分組聚類出具有相似瀏覽行為的客戶，并分析客戶的共同特征，更好地了解自己的客戶，向客戶提供更合適的服務(wù)。它可以應(yīng)用到客戶群體的分類、客戶背景分析、客戶購買趨勢預(yù)測、市場的細分等。

（4）預(yù)警分析。數(shù)據(jù)挖掘方法可以為風(fēng)險分析建立分類定位模型。在企業(yè)危機管理及其預(yù)警中，管理者更感興趣的是那些意外規(guī)則。風(fēng)險分析是提品或服務(wù)時存在潛在損失的行業(yè)所特有的。常見的風(fēng)險類型出現(xiàn)在銀行業(yè)和保險業(yè)，銀行在放貸時存在金融風(fēng)險。利用風(fēng)險分析可以預(yù)測一個對象如期還貸或不還貸的可能性。一種貸款如抵押貸款或汽車貸款是安全貸款，另一種貸款如信用卡貸款為不安全貸款。

（5）Web頁挖掘。Web因其易于導(dǎo)航、方便鏈接，融圖形、音頻、視頻信息于一體的優(yōu)越特性，迅速流行于全球，所載信息量巨大。Web頁挖掘是利用數(shù)據(jù)挖掘技術(shù)從萬維網(wǎng)的海量信息和數(shù)據(jù)中提取各種有用模式和信息，其中涉及到Web技術(shù)、數(shù)據(jù)挖掘、計算機語言學(xué)、信息學(xué)等多個領(lǐng)域的專業(yè)知識。對于企業(yè)而言，可以通過Web頁挖掘、收集與企業(yè)生存相關(guān)的社會環(huán)境信息、市場信息、競爭對手信息、客戶信息等，及時對外部環(huán)境信息和內(nèi)部經(jīng)營信息作出反饋和決策，未雨綢繆，以最快的速度解決企業(yè)面對的各種危機和潛在問題。

4 數(shù)據(jù)挖掘的社會需求和應(yīng)用

人類早已步入信息社會，信息的重要性毋庸置疑。如何能在信息的海洋中迅速提取那些于我有價值的信息是生存的必要本領(lǐng)和競爭的必要手段，這就需要進行數(shù)據(jù)挖掘。具體而言，數(shù)據(jù)挖掘的社會需求和應(yīng)用主要有表現(xiàn)在四個方面，即輔助研究，改進生產(chǎn)流程，優(yōu)化市場營銷，提高競爭優(yōu)勢。

（1）輔助研究。數(shù)據(jù)挖掘的輔助研究功能主要表現(xiàn)在醫(yī)藥和生物研究領(lǐng)域。數(shù)據(jù)挖掘技術(shù)可以協(xié)助研究人員快速分析巨量的醫(yī)學(xué)數(shù)據(jù)和醫(yī)生診斷經(jīng)驗，發(fā)現(xiàn)隱藏在海量數(shù)據(jù)背后的新的、具有學(xué)術(shù)價值的醫(yī)學(xué)信息，為新藥的發(fā)現(xiàn)提供一種新的思路和方法，幫助科研人員在大的數(shù)據(jù)庫中發(fā)現(xiàn)隱含的知識，更好、更快、更有效地決策，加快藥物研發(fā)速度，提高藥物研發(fā)水平。此外，數(shù)據(jù)挖掘理論中的序列模式分析和相似檢索技術(shù)等，已經(jīng)被認為是DNA分析的有效工具，研究者們正在研究如何利用該技術(shù)從已經(jīng)測得的基因數(shù)據(jù)庫中找出各種疾病特定基因序列模式。數(shù)據(jù)挖掘技術(shù)還可以應(yīng)用到醫(yī)學(xué)圖像分析中，借助于這一技術(shù)，圖像特征能夠?qū)崿F(xiàn)自動提取和模式識別。更加令人欣喜的是，數(shù)據(jù)挖掘技術(shù)在醫(yī)療行業(yè)的應(yīng)用，不僅可以協(xié)助醫(yī)生更加準確地對病人進行診斷，還能預(yù)測醫(yī)療試驗、外科手術(shù)和藥物治療的效果，對于緩和醫(yī)患關(guān)系，節(jié)省治療成本等都能起到積極作用。

（2）改進生產(chǎn)流程。數(shù)據(jù)挖掘改進生產(chǎn)流程的功能主要體現(xiàn)在工業(yè)領(lǐng)域。目前，數(shù)據(jù)挖掘已經(jīng)成功地應(yīng)用于從晶片制造到咖啡烘焙等一般的生產(chǎn)流程，用領(lǐng)域非常廣泛。數(shù)據(jù)挖掘在改進生產(chǎn)流程中的應(yīng)用概括地講就是提取出影響生產(chǎn)進度的因素，避免生產(chǎn)的非正常中斷，優(yōu)化成產(chǎn)，從而節(jié)約成本。首先是提取數(shù)據(jù)，這些數(shù)據(jù)既包括能產(chǎn)生正面結(jié)果的數(shù)據(jù)，也包括產(chǎn)生負面結(jié)果的數(shù)據(jù)。其次是選擇決策樹算法依據(jù)數(shù)據(jù)判斷出最重要的變量，再經(jīng)過審定保留那些具有預(yù)測能力的變量。最后是進行建模與評估，形成生產(chǎn)規(guī)則。需要注意的是，由于不同工廠間的具體情況不同，這些規(guī)則并不能從一家工廠直接復(fù)制到另外一家工廠，因此數(shù)據(jù)挖掘工作不是一勞永逸的，應(yīng)在成功的基礎(chǔ)上不斷進行研究。

（3）優(yōu)化市場營銷。由于信息的爆炸式增長，商業(yè)領(lǐng)域累積的數(shù)據(jù)庫越來越大，不僅占用空間，且無法直接增加價值，由此人們認識到大量數(shù)據(jù)并非就是大量的信息，數(shù)據(jù)分析與萃取勢在必行。因此，數(shù)據(jù)挖掘技術(shù)從一開始就是為應(yīng)用而產(chǎn)生的，且迅速應(yīng)用到了市場營銷領(lǐng)域。世界上許多具有創(chuàng)新性的公司都采用數(shù)據(jù)挖掘的方式改進產(chǎn)品的推廣模式，改善營銷、銷售、顧客服務(wù)營運上的不足，尋找最有價值的客戶，以最小的成本獲取最大的利益。例如銀行可以通過分析客戶的銀行賬戶余額、客戶已擁有的銀行產(chǎn)品以及所處地點和信貸風(fēng)險等標準來評價記錄檔案，這些評價可用于確定客戶購買某一具體產(chǎn)品的可能性，使得管理人員不必一一分析基礎(chǔ)數(shù)據(jù)，大大提高了工作效率。對于零售商而言，可以利用數(shù)據(jù)挖掘技術(shù)收集并分析上百萬個交易數(shù)據(jù)，為各分店進行每周和每日的銷售預(yù)測，還可協(xié)助制訂季度銷售預(yù)測、用人計劃、存貨管理、年度預(yù)算等，甚至還能幫助為新的分店選址。以美國擁有1100多家分店、年銷售額近110億美元的Staples連鎖零售商店為例，它就是運用數(shù)據(jù)挖掘方法成功對各家分店進行管理，它采用的數(shù)據(jù)包括歷史銷售數(shù)據(jù)、客戶（包括商戶和家庭）的統(tǒng)計數(shù)據(jù)、分店所處的地段特征及該地段的競爭水平等一系列海量數(shù)據(jù)。卡夫食品公司也是通過對擁有3000萬客戶資料的數(shù)據(jù)庫進行深入挖掘，得以了解特定客戶的興趣和口味，并以此為基礎(chǔ)向他們發(fā)送特定產(chǎn)品的優(yōu)惠券，并為他們推薦符合客戶口味和健康狀況的卡夫產(chǎn)品食譜。

數(shù)據(jù)挖掘在市場營銷中的應(yīng)用是基于“消費者過去的行為是今后消費傾向的最好說明”這一基本假定，通過搜集和分析消費者消費行為的大量信息，以確定消費群體和個體的消費習(xí)慣、消費熱點、消費層次和潛在的消費需求等，以此為基礎(chǔ)，有針對性地進行特定內(nèi)容的定向營銷，不僅節(jié)約了營銷成本，還大大提高了營銷效果，為企業(yè)帶來更多利潤。

（4）提升競爭優(yōu)勢。在市場經(jīng)濟比較發(fā)達的國家和地區(qū)，許多公司都開始在原有信息系統(tǒng)的基礎(chǔ)上通過數(shù)據(jù)挖掘?qū)I(yè)務(wù)信息進行深加工，以構(gòu)筑自己的競爭優(yōu)勢。數(shù)據(jù)挖掘在提升企業(yè)競爭優(yōu)勢上主要包括兩個方面，一是提升企業(yè)自身實力，二是規(guī)避外部風(fēng)險，具體來說主要包括分析企業(yè)內(nèi)部經(jīng)營信息，搜集外部環(huán)境信息，創(chuàng)新優(yōu)質(zhì)產(chǎn)品和服務(wù)，改善和維護客戶關(guān)系，進行企業(yè)供應(yīng)鏈管理，識別風(fēng)險和欺詐，控制和化解危機等。

5 數(shù)據(jù)挖掘需要注意的問題

（1）對數(shù)據(jù)的要求。由于大多數(shù)運營商面臨的數(shù)據(jù)在質(zhì)量、完整性和一致性方面存在很多問題，因此在利用這些數(shù)據(jù)進行數(shù)據(jù)挖掘之前，必須先對其進行抽取、凈化和處理。

（2）對人員素質(zhì)的要求。統(tǒng)計數(shù)據(jù)挖掘分析系統(tǒng)必須與實際緊密相聯(lián)，在數(shù)據(jù)挖掘的多個環(huán)節(jié)中，都要求使用和分析人員不僅僅具備數(shù)據(jù)挖掘的相關(guān)知識，還必須有對企業(yè)經(jīng)營管理流程和行業(yè)背景的深刻理解。

（3）數(shù)據(jù)挖掘的有效性。數(shù)據(jù)挖掘存在較長的應(yīng)用周期，數(shù)據(jù)挖掘所發(fā)現(xiàn)的知識和規(guī)則必須讓決策者理解并采納，才能將知識轉(zhuǎn)化為生產(chǎn)力，并通過實踐不斷檢驗和完善數(shù)據(jù)挖掘所產(chǎn)生的模型和規(guī)則，以使模型更具實用價值。

（4）數(shù)據(jù)庫類型的多樣性。一些數(shù)據(jù)庫可能包含復(fù)雜的數(shù)據(jù)對象、超文本和多媒體數(shù)據(jù)、空間數(shù)據(jù)、時間數(shù)據(jù)或事務(wù)數(shù)據(jù)。由于數(shù)據(jù)類型的多樣性和數(shù)據(jù)挖掘的目標不同，指望一個系統(tǒng)挖掘所有類型的數(shù)據(jù)是不現(xiàn)實的。為挖掘特定類型的數(shù)據(jù)，應(yīng)當構(gòu)造特定的數(shù)據(jù)挖掘系統(tǒng)。同樣，對于不同類型的數(shù)據(jù)，應(yīng)當有不同的數(shù)據(jù)挖掘系統(tǒng)。

（5）數(shù)據(jù)挖掘的局限性。雖然數(shù)據(jù)挖掘工具使用戶不必再掌握高深的統(tǒng)計分析技術(shù)，但用戶仍然需要知道所選用的數(shù)據(jù)挖掘工具是如何工作的，它所采用的算法的原理是什么。選用的技術(shù)和優(yōu)化方法會對模型的準確度和生成速度產(chǎn)生很大影響。數(shù)據(jù)挖掘永遠不會替代有經(jīng)驗的商業(yè)分析師或者管理人員所起的作用，它只是提供一個強大的工具。每個成熟的、了解市場的公司都已經(jīng)具有一些重要的、能產(chǎn)生高回報的模型，這些模型可能是管理人員花了很長時間，作了很多調(diào)查，甚至是經(jīng)過很多失誤之后得來的。數(shù)據(jù)挖掘工具要做的就是使這些模型得到的更容易，更方便，而且有根據(jù)。

6 結(jié)語

總之，數(shù)據(jù)挖掘作為一個新興的多學(xué)科交叉應(yīng)用領(lǐng)域，正在各行各業(yè)的決策支持活動扮演著越來越重要的角色。只有從數(shù)據(jù)中有效地提取信息，從信息中及時地發(fā)現(xiàn)知識，才能為人類的思維決策和戰(zhàn)略發(fā)展服務(wù)。

參考文獻

[1]陳文偉，等.數(shù)據(jù)挖掘技術(shù)[M].北京：北京工業(yè)大學(xué)出版社，2002.

[2]朱明，數(shù)據(jù)挖掘.合肥：中國科技大學(xué)出版社2002.

數(shù)據(jù)挖掘范文第3篇

數(shù)據(jù)挖掘技術(shù)是當前數(shù)據(jù)庫和人工智能領(lǐng)域研究的熱點課題， 本文首先對數(shù)據(jù)挖掘技術(shù)的國內(nèi)外總體研究情況進行概略介紹，包括數(shù)據(jù)挖掘技術(shù)產(chǎn)生背景、應(yīng)用領(lǐng)域、分類；然后詳細闡述了數(shù)據(jù)挖掘的各種技術(shù)方法，并對數(shù)據(jù)挖掘的應(yīng)用領(lǐng)域做了相關(guān)介紹。

【關(guān)鍵詞】數(shù)據(jù)挖掘 決策支持 關(guān)聯(lián)規(guī)則 模式

1 前言

數(shù)據(jù)挖掘含義是指從大量、模糊、隨機的實際應(yīng)用數(shù)據(jù)中，提取隱藏在其內(nèi)部中、人

們原先不知曉的、卻潛在有用的信息和知識的過程。我們把提取出的信息和知識表示為規(guī)律、概念、模式、規(guī)則等形式。數(shù)據(jù)挖掘被認為是一門跨多知識領(lǐng)域和學(xué)科的新興課題，它為我們使用數(shù)據(jù)從簡單查詢將變?yōu)樵跀?shù)據(jù)里挖掘與發(fā)現(xiàn)知識從而產(chǎn)生對決策行為提供支持。為了能夠滿足人們從大量數(shù)據(jù)里發(fā)現(xiàn)知識的需求，來自不同領(lǐng)域的專家學(xué)者，都致力于研究這個熱點課題――數(shù)據(jù)挖掘，不斷研究和產(chǎn)生出新的研究成果。自從加拿大蒙特利爾在1995年召開了首屆KDD&Data Mining國際學(xué)術(shù)會議，此后每年舉辦一次。通過數(shù)年努力， 數(shù)據(jù)挖掘技術(shù)研究取得了豐碩的成果，不少數(shù)據(jù)挖掘的軟件產(chǎn)品，已在歐洲、北美等國家得到廣泛的應(yīng)用。目前，應(yīng)用廣泛的數(shù)據(jù)挖掘系統(tǒng)有：IBM公司的Intelligent Miner、SGI公司的SetMiner、SPSS公司的Clementine、SAS公司的Enterprise Miner、Sybase公司的Warehouse Studio、RuleQuest Research公司的See5、還有CoverStory、EXPLORA、Knowledge Discovery Workbench、DBMiner、Quest等。在我國，數(shù)據(jù)挖掘技術(shù)的研究也取得了相當客觀的成果。

2 數(shù)據(jù)挖掘的技術(shù)方法

通常情況下，我們把數(shù)據(jù)挖掘方法分為兩大方面，一是統(tǒng)計類型，有概率分析、相

關(guān)性、聚類分析和判別分析等常用技術(shù)；二是人工智能領(lǐng)域中的機器學(xué)習(xí)型，通過訓(xùn)練和學(xué)量的樣品集獲得需要的模式或參數(shù)。

2.1 遺傳算法

遺傳算法是基于生物進化過程組合優(yōu)化方法，它是和計算機科學(xué)與生物學(xué)結(jié)合的產(chǎn)物，由美國密西根大學(xué)教授D.J.Holland和他的同事們在1975年首次提出。人們總結(jié)的遺傳算法基本思想分為兩點：第一，將物種進化理論用于求解問題，物種進化又分為變異和遺傳兩個方面；第二，只有最能適應(yīng)環(huán)境的物種才能生存下來，所以需要反復(fù)求解后才可以獲得最佳解。遺傳算法按照規(guī)則產(chǎn)生經(jīng)過基因編碼最初群體，然后從代表問題可能潛在答案的初始群體出發(fā)，選擇適應(yīng)度強的個體進行交換和變異，目的是發(fā)現(xiàn)適應(yīng)度更佳的個體，這樣一代代地演化，得到最優(yōu)個體，解碼，該最佳個體編碼就是對應(yīng)的問題最佳解或近似最佳解。在遺傳算法的使用上，它的優(yōu)點是對問題要求信息較少，比較高效性和靈活性。在數(shù)據(jù)挖掘中，經(jīng)常用于估測其它算法的適合度，同時遺傳算法擅長于數(shù)據(jù)聚類，通過和空間上類比和時間上類比，能夠使大量復(fù)雜數(shù)據(jù)系統(tǒng)化、條理化，從而找出他們之間的內(nèi)在聯(lián)系，獲得有用概念和模式。

2.2 關(guān)聯(lián)分析

在大型數(shù)據(jù)庫中，關(guān)聯(lián)規(guī)則挖掘是最常見的數(shù)據(jù)挖掘任務(wù)之一。關(guān)聯(lián)規(guī)則挖掘就是從大量數(shù)據(jù)中發(fā)現(xiàn)項集之間的相關(guān)聯(lián)系。最著名的關(guān)聯(lián)規(guī)則挖掘算法是由Agrawal等于1994年提出的 Apriori算法，其基本思想是：第一找出所有頻繁1-項集集合Ll，使用L1查找頻繁2-項集集合L2，繼而用L2用于L3，反復(fù)迭代，一直到不能找到頻繁k-項集。并利用事先設(shè)定好的最小支持度閾值進行篩選，將小于最小支持度的候選項集刪除，再進行下一次的合并生成該層的頻繁項集。經(jīng)過篩選可減少候選項集數(shù)，從而加快關(guān)聯(lián)規(guī)則挖掘的速度。

2.3 決策樹

決策樹算法之所以在數(shù)據(jù)分析挖掘應(yīng)用中如此流行，主要原因在于決策樹的構(gòu)造不需要任何領(lǐng)域的知識，很適合探索式的知識發(fā)掘，并且可以處理高維度的數(shù)據(jù)。在眾多的數(shù)據(jù)挖掘、統(tǒng)計分析算法中，決策樹最大的優(yōu)點在于它所產(chǎn)生的一系列從樹根到樹枝（或樹葉）的規(guī)則，可以很容易地被分析師和業(yè)務(wù)人員理解，而且這些典型的規(guī)則甚至不用整理（或稍加整理），就是現(xiàn)成的可以應(yīng)用的業(yè)務(wù)優(yōu)化策略和業(yè)務(wù)優(yōu)化路徑。另外，決策樹技術(shù)對數(shù)據(jù)的分布甚至缺失非常寬容，不容易受到極值的影響。

國際上最有影響的決策樹方法是由Quinlan 研制的ID3方法。ID3（Iterative Dichotomiser）算法其最大的特點在于自變量的挑選標準是：基于信息增益的度量選擇具有最高信息增益的屬性作為結(jié)點的分裂（分割）屬性，其結(jié)果就是對分割后的結(jié)點進行分類所需的信息量最小，這也是一種劃分純度的思想。

決策樹技術(shù)在數(shù)據(jù)化運營中的主要用途體現(xiàn)在：作為分類、預(yù)測問題的典型支持技術(shù)，它在用戶劃分、行為預(yù)測、規(guī)則梳理等方面具有廣泛的應(yīng)用前景，決策樹甚至可以作為其他建模技術(shù)前期進行變量篩選的一種方法，即通過決策樹的分割來篩選有效地輸入自變量。

2.4 粗糙集方法

粗糙集理論定位為一種刻劃不確定性和不完整性的數(shù)學(xué)工具，可以有效地分析和處理不一致、不精確、不完整等信息，以從中發(fā)現(xiàn)隱藏的不為所知的知識，揭示潛在的規(guī)律。該理論是由波蘭學(xué)者Z.Pawlak教授在1982年提出的，從1992年至今，每年召開以RS為主題的國際會議，推動了RS理論的拓展和應(yīng)用。

粗糙集是處理模糊數(shù)據(jù)的有力工具，而要達到這樣的目的需要有兩個重要的步驟來進行處理―屬性約簡和值約簡，屬性約簡是對粗糙集合（那些不能區(qū)分的集合）進行縱向的簡化，把不必要的屬性去掉，即去掉這些屬性也不會影響對象的區(qū)分能力，這樣便于以后進一步的簡約處理

由于粗糙集理論創(chuàng)建的目的和研究的出發(fā)點就是直接對數(shù)據(jù)進行分析和推理，從中發(fā)現(xiàn)隱含的知識，揭示潛在的規(guī)律，因此是一種天然的數(shù)據(jù)挖掘或者知識發(fā)現(xiàn)手段，與基于證據(jù)理論的數(shù)據(jù)挖掘方法、基于模糊理論的數(shù)據(jù)挖掘方法、基于概率論的數(shù)據(jù)挖掘方法等其他處理不確定性問題理論的方法相比較，最顯著的區(qū)別是它不需要提供問題所需處理的數(shù)據(jù)集合之外的任何先驗知識，而且與處理其他不確定性問題的理論有很強的互補性。

2.5 神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks）是指能夠模仿人腦神經(jīng)元聯(lián)接結(jié)構(gòu)特征并且進行分布式并行信息處理的數(shù)學(xué)模型。根據(jù)人腦的神經(jīng)元的原理所產(chǎn)生的人工神經(jīng)網(wǎng)絡(luò)能夠通過不斷修正其內(nèi)部的節(jié)點間相互連接的關(guān)系達到處理信息的目的。BP（Back Propagation）網(wǎng)絡(luò)，也稱為誤差反向傳播算法，是目前使用較多也比較成熟的神經(jīng)網(wǎng)絡(luò)算法， 1985 年Rumelhart 等人提出，它的實質(zhì)是通過誤差反向傳播算法訓(xùn)練數(shù)據(jù)的多層前饋神經(jīng)網(wǎng)絡(luò)，是目前應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)模型。BP 神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)和存儲大量輸入-輸出模式映射關(guān)系，而且還并不需要預(yù)先揭示表現(xiàn)此種映射關(guān)系數(shù)學(xué)模型。它采用的學(xué)習(xí)規(guī)則是最速下降法，主要利用反向傳播不斷修訂網(wǎng)絡(luò)的權(quán)值和閾值，達到建立的神經(jīng)網(wǎng)絡(luò)誤差的平方和最小。在數(shù)據(jù)挖掘中，神經(jīng)網(wǎng)絡(luò)主要用于獲取分類模式。BP 神經(jīng)網(wǎng)絡(luò)能夠用來聚類、分類和預(yù)測等，通常只需要一定歷史數(shù)據(jù)，即把訓(xùn)練樣本作設(shè)為輸入，便能夠?qū)τ?xùn)練樣本訓(xùn)練，通過學(xué)習(xí)與存儲該數(shù)據(jù)樣本中隱含的知識信息后，能夠為后面的數(shù)據(jù)分析提供必要有用的知識。但是神經(jīng)網(wǎng)絡(luò)分類方法獲得的模式常常隱藏在網(wǎng)絡(luò)結(jié)構(gòu)中，不能夠顯示地表達成為一定的規(guī)則，所以不容易被人們理解和解釋；而且還需要多次掃描訓(xùn)練數(shù)據(jù)，網(wǎng)絡(luò)需要的訓(xùn)練時間較長。所以與其他數(shù)據(jù)挖掘方法相比較，神經(jīng)網(wǎng)絡(luò)用于數(shù)據(jù)挖掘，要解決好兩個關(guān)鍵點：降低不必要的訓(xùn)練時間，增強挖掘結(jié)果的可理解性。

2.6 模糊技術(shù)

模糊數(shù)據(jù)挖掘技術(shù)是通過利用原有數(shù)據(jù)挖掘技術(shù)同時，與模糊理論相結(jié)合，以期從大量數(shù)據(jù)中發(fā)現(xiàn)更為廣泛的內(nèi)容，其挖掘結(jié)果將會使用戶更容易理解。由于現(xiàn)實生活中，數(shù)據(jù)之間的關(guān)系往往表現(xiàn)為模糊性，因此將模糊理論與數(shù)據(jù)挖掘技術(shù)結(jié)合從海量的、不完全的、隨機的、含噪聲的模糊數(shù)據(jù)中提取潛在的、未知即通過模糊集合理論對問題模糊評判、模糊決策、模糊模式識別和模糊聚類分析。因為模糊性是客觀存在，而且系的復(fù)雜性越高，模糊性就越強，通常模糊集合理論是用隸屬度來描述模糊事物，所以它為數(shù)據(jù)挖掘提供了概念和知識的表達、定性定量的轉(zhuǎn)換、概念綜合和分解方法。

2.7 可視化技術(shù)

可視化技術(shù)是指采用計算機圖形學(xué)和圖像處理技術(shù)，把數(shù)據(jù)轉(zhuǎn)換成圖形或圖像并且在屏幕上顯示出來，從而進行交互處理技術(shù)。它將信息的模式、數(shù)據(jù)關(guān)聯(lián)和趨勢展示給決策者，決策者能夠通過可視化的技術(shù)來交互分析數(shù)據(jù)之間的關(guān)系。可視化技術(shù)實現(xiàn)過程由四個步驟組成：數(shù)據(jù)預(yù)處理、映射、繪制和顯示。數(shù)據(jù)預(yù)處理階段，針對各不相同的可視化方法和內(nèi)容，要求對最初數(shù)據(jù)進行變換處理，設(shè)置數(shù)據(jù)格式和標準，并且要數(shù)據(jù)壓縮和解壓縮；在映射階段，針對不同類型的應(yīng)用數(shù)據(jù)，使用不同的映射技術(shù)把數(shù)值數(shù)據(jù)轉(zhuǎn)換成幾何數(shù)據(jù)；在繪制階段將幾何數(shù)據(jù)繪制成目標圖像；在顯示階段，將圖像數(shù)據(jù)按用戶要求進行輸出。在整個過程中，映射功能完成數(shù)據(jù)的建模功能，是核心。模型可視化的具體方法則與數(shù)據(jù)挖掘采用算法相關(guān)聯(lián)，如，決策樹算法用樹形表示；過程可視化可以用數(shù)據(jù)流圖來描述知識發(fā)現(xiàn)過程。

3 數(shù)據(jù)挖掘應(yīng)用

數(shù)據(jù)挖掘技術(shù)是面向應(yīng)用的。數(shù)據(jù)挖掘的研究有利地促進了數(shù)據(jù)挖掘技術(shù)應(yīng)用的發(fā)展與推廣。隨著研究的深入，數(shù)據(jù)挖掘技術(shù)的應(yīng)用越來越廣泛。主要集中在以下幾方面：

3.1 金融業(yè)

數(shù)據(jù)挖掘技術(shù)用于銀行行業(yè)的存/貸款趨勢預(yù)測，優(yōu)化存/貸款策略和投資組合。

3.2 生物信息

在基因工程中的染色體、基因序列的識別分析、基因表達路徑分析、基因表達相似性分析、以及制藥、生物信息和科學(xué)研究等。

3.3 零售業(yè)

數(shù)據(jù)挖掘技術(shù)被用來進行分析購物籃來協(xié)助貨架設(shè)置，安排促銷商品組合和促銷時間商業(yè)活動。

3.4 客戶關(guān)系管理

數(shù)據(jù)挖掘技術(shù)被用于分析客戶的行為，分類客戶，以此進一步針對客戶流失、客戶利潤、客戶響應(yīng)等方面進行分析，最終改善客戶關(guān)系管理。

3.5 電子商務(wù)

數(shù)據(jù)挖掘技術(shù)被用于在線交互式營銷系統(tǒng)的經(jīng)營模式、市場策略、Web廣告效果分析以及在線購物的消費者行為分析，從而優(yōu)化網(wǎng)站結(jié)構(gòu)，改善網(wǎng)頁推薦和商品推薦內(nèi)容等。

4 結(jié)語

綜上， 數(shù)據(jù)挖掘涵蓋多種理論和技術(shù)，有著廣泛應(yīng)用前景。深入分析研究數(shù)據(jù)挖掘，應(yīng)用數(shù)據(jù)挖掘技術(shù)將是我們未來努力的方向。

參考文獻

[1]Fayyad U M，Piatet sky- shapiro G，Smyth P.Advances in knowledge discovery and data mining.California：AAAI/ MITPress， 1996.

[2]Chen Lei-da et al.Date mining methods，applications，tools[J].Information Systems Management， 2000；17（1）：65-70.

[3]H Mannila，H Toivonen et al.Efficient algorithms for discovering as sociation rules[C].In ：Knowledge Discovery in Databases（KDD’94），AAAI Press，1994：181-192.

[4]陸汝鈐.人工智能.北京：科學(xué)出版社， 1996：823-844.

[5]曾黃麟.粗集理論及其應(yīng)用[M].重慶：重慶大學(xué)出版社，1996.

[6]Michie D，Spiegelhalter D J.Machine Learning，Neural an Stastical Classification.London：Ellis Horwood Press，1994.

[7]何新貴.數(shù)據(jù)采掘中的模糊技術(shù)[J].計算機科學(xué)，1998，25（專刊）：129-131.

[8]萬家華，劉冰，江早.知識發(fā)現(xiàn)中的可視化技術(shù)[J].計算機科學(xué)，2000，27（增刊）：131-134.

作者簡介

王雅軒（1969-），女，研究生學(xué)歷。現(xiàn)為大連外國語大學(xué)教授。主要研究方向為軟件理論與應(yīng)用。

頊聰（1977-）男，研究生學(xué)歷。現(xiàn)為大連外國語大學(xué)講師。主要研究方向為智能軟件。

數(shù)據(jù)挖掘范文第4篇

關(guān)鍵詞:數(shù)據(jù)挖掘;用戶偏好;考試系統(tǒng);入侵檢測

中圖法分類號:TP274文獻標識碼:A文章編號:1009-3044(2010)22-6231-02

Survey on Data Mining Technology

WANG Wen

(School of Computer Science and Technology, China University of Mining and Technology, Xuzhou 221116, China)

Abstract: Data Mining technology is an important part of modern computer technology. Using Data Mining can solve many problems in artificial intelligence. In this article, the development and the principle of Data Mining are introduced. Some of the newly application of Data Mining are involved. This article also have the expects for the future development of Data Mining.

Key words: data mining; user preference; examination system; intrusion detection system

隨著時代的發(fā)展,計算機科學(xué)在以飛快的速度前進著。在計算機科學(xué)的眾多領(lǐng)域中,人工智能是最富有挑戰(zhàn)性和創(chuàng)造性的一個領(lǐng)域。近幾十年來,隨著人工智能技術(shù)的日漸成熟,人們對人工智能的研究更加深入,對人工智能更加重視。科學(xué)界對于人工智能的重要性也已形成共識。

自進入21世紀以來,電子數(shù)據(jù)獲取與計算機技術(shù)方面的不斷發(fā)展以及網(wǎng)絡(luò)的廣泛普及與應(yīng)用,人們?nèi)粘Ｉ钪薪邮盏臄?shù)據(jù)和信息較以往正以飛快的速度增加,因而形成了獨特的知識爆炸時代。就在最近幾十年很多超大型數(shù)據(jù)庫的產(chǎn)生使得整個社會發(fā)生著天翻地覆的變化,遍及銀行存款、超級市場銷售、粒子物理、天文學(xué)、化學(xué)、醫(yī)學(xué)以及政府統(tǒng)計等領(lǐng)域。在這個數(shù)字化、信息化時代,這么大規(guī)模的數(shù)據(jù)庫以及以后可能誕生的更大規(guī)模的數(shù)據(jù)庫的數(shù)據(jù)管理問題將會是以后對數(shù)據(jù)處理的一個重要關(guān)注點。眾多科技工作者共同關(guān)注的焦點集中在了如何從這些大型數(shù)據(jù)庫中發(fā)現(xiàn)有用的、信息、模式以及如何實現(xiàn)有效的數(shù)據(jù)處理方法。因而“數(shù)據(jù)挖掘”(Data Mining) 的新領(lǐng)域逐漸走進了人們的事業(yè),并且在人們的關(guān)注和不斷研究下飛速發(fā)展,這是一個與統(tǒng)計學(xué)、人工智能、模式識別、機器學(xué)習(xí)、數(shù)據(jù)庫技術(shù)以及高性能并行計算等領(lǐng)域都有很大相關(guān)的新學(xué)科,正是計算機學(xué)科的一個研究重點。

1 數(shù)據(jù)挖掘的一般過程

數(shù)據(jù)挖掘一般分為如下四個步驟(圖1)。

1.1 數(shù)據(jù)預(yù)處理

收集和凈化來自各種數(shù)據(jù)源或數(shù)據(jù)倉庫的信息,并加以存儲, 一般存于數(shù)據(jù)倉庫中。

1.2 模型搜索

利用數(shù)據(jù)挖掘在數(shù)據(jù)庫中匹配模型,這個搜索過程可以由系統(tǒng)自動執(zhí)行,自下而上搜索原始數(shù)據(jù)以發(fā)現(xiàn)它們之間的某種聯(lián)系;也可以進行用戶交互,由分析人員發(fā)問,自頂向下尋找以驗證假設(shè)的正確性。一個問題的搜索過程可能用到許多模型,如神經(jīng)網(wǎng)絡(luò)、基于規(guī)則的系統(tǒng)(決策樹)、機器學(xué)習(xí)、基于實例的推理等。

1.3 評價輸出結(jié)果

一般來說,數(shù)據(jù)挖掘的搜索過程需要反復(fù)多次,當分析人員評價輸出結(jié)果后,它們可能會形成一些新的問題,或者要求對某一方面作更精細的查詢,通過反復(fù)的搜索過程即可滿足分析人員的這種需求。

1.4 生成報告

知識的發(fā)現(xiàn)過程可以由數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)選擇、數(shù)據(jù)變換、數(shù)據(jù)挖掘、模式評估和知識表示等幾個步驟組成。數(shù)據(jù)挖掘可以與用戶或知識庫交互,把用戶關(guān)心的模式提交給廣大用戶,或作為新的知識存放在知識庫中。

2 數(shù)據(jù)挖掘應(yīng)用

2.1 數(shù)據(jù)挖掘在實現(xiàn)網(wǎng)站用戶偏好度的應(yīng)用

數(shù)據(jù)挖掘就是從大量的數(shù)據(jù)中發(fā)現(xiàn)隱含的規(guī)律性的內(nèi)容,解決數(shù)據(jù)的應(yīng)用質(zhì)量問題。使數(shù)據(jù)能夠被更加高效的利用,對無用的數(shù)據(jù)加以摒棄,是數(shù)據(jù)挖掘技術(shù)最主要的實現(xiàn)形式,也是其最重要的應(yīng)用方式。傳統(tǒng)的數(shù)據(jù)庫中的數(shù)據(jù)相對于Web的數(shù)據(jù)而言,其結(jié)構(gòu)性很強,是完全結(jié)構(gòu)化的數(shù)據(jù),而半結(jié)構(gòu)化則是Web上的數(shù)據(jù)最大特點。因而,面向單個數(shù)據(jù)倉庫的數(shù)據(jù)挖掘較之面向Web的數(shù)據(jù)挖掘比要簡單許多。據(jù)統(tǒng)計,網(wǎng)站上的絕大部分內(nèi)容對絕大部分用戶來說是無用的信息。事實是對于某個特定用戶來說,其關(guān)心的內(nèi)容僅是網(wǎng)站上極小部分的內(nèi)容,而網(wǎng)站上提供的更多的內(nèi)容對于這個用戶來說是其不感興趣的,并且過多的信息往往會掩蓋有用的信息,使得用戶的查詢效率降低,并且對于網(wǎng)站也不是一件利事。

對于Web數(shù)據(jù)挖掘技術(shù)而言,半結(jié)構(gòu)化數(shù)據(jù)源模型和半結(jié)構(gòu)化數(shù)據(jù)模型的查詢與集成問題是應(yīng)當首要解決的問題。解決Web上的異構(gòu)數(shù)據(jù)的集成與查詢問題,有一個模型來清晰地描述Web上的數(shù)據(jù)是很必要的。因此,針對數(shù)據(jù)半結(jié)構(gòu)化的Web數(shù)據(jù)的特點,尋找一個半結(jié)構(gòu)化的數(shù)據(jù)模型至關(guān)重要。并且除此定義一個半結(jié)構(gòu)化數(shù)據(jù)模型之外,一種半結(jié)構(gòu)化模型抽取技術(shù)(自動地從現(xiàn)有數(shù)據(jù)中抽取半結(jié)構(gòu)化模型的技術(shù))也是應(yīng)當提出的。因而半結(jié)構(gòu)化模型和半結(jié)構(gòu)化數(shù)據(jù)模型抽取技術(shù)是面向Web的數(shù)據(jù)挖掘?qū)崿F(xiàn)的重要前提。

用戶瀏覽網(wǎng)站上的內(nèi)容時,他會被很的多因素影響,網(wǎng)頁的外觀,信息標題,網(wǎng)頁鏈接以及個人的興趣和習(xí)慣等等。我們可以設(shè)定合理的假設(shè),建立他們之間的模型,利用以上提到的方法解決用戶偏好度的問題。

2.2 數(shù)據(jù)挖掘在在線考試系統(tǒng)方面的應(yīng)用

數(shù)據(jù)挖掘在在線考試系統(tǒng)方面的應(yīng)用最主要體現(xiàn)在題庫的構(gòu)建,下面分別介紹題庫的構(gòu)建中數(shù)據(jù)挖掘的應(yīng)用情況。

在設(shè)計數(shù)據(jù)庫方面,數(shù)據(jù)庫主要由題庫、答案庫和答案關(guān)鍵字庫構(gòu)成,題型庫又涵括科目、題號、題型、題目、難度、分值等字段;答案庫中包含科目、題號、分值、答案以及在同一題中有不同答案時應(yīng)提供的不同答案序號等字段;答案關(guān)鍵字庫中有題號、答案序號、權(quán)重和答案關(guān)鍵字。此后在將答案錄入答案庫。對于客觀題而言,僅僅需要錄入唯一的答案;但對于主觀題而言,則需要盡量給出多個參考答案并將每個答案的關(guān)鍵字及其所對應(yīng)的權(quán)值、答案序號輸入答案關(guān)鍵字庫。

通常有兩類數(shù)據(jù)挖掘方法:①統(tǒng)計型,應(yīng)用概率分析、相關(guān)性、聚類分析和判別分析等技術(shù)得以實現(xiàn);②通過人工智能中的機器學(xué)習(xí),經(jīng)過訓(xùn)練以及學(xué)習(xí)輸入大量的樣品集,以得出需要的模式或參數(shù)。由于每一種方法都根據(jù)其特點都有其優(yōu)勢以及相應(yīng)的引用領(lǐng)域,最后結(jié)果的質(zhì)量和效果將受到數(shù)據(jù)挖掘技術(shù)選擇的影響,采用多種技術(shù)結(jié)合的方法,其各自的優(yōu)勢可以達到互補的要求,從而實現(xiàn)最佳配置。下面介紹了兩種數(shù)據(jù)挖掘方法: ①決策樹算法:為每個問題的答案構(gòu)造一個二叉樹,每個分支或者是一個新的決策點,或者是一個葉子節(jié)點。在沿著決策樹從上到下的遍歷過程中,對每個問題的不同回答導(dǎo)致不同的分支,最后到達一個葉子節(jié)點,每個葉子節(jié)點都會對應(yīng)確定的權(quán)值,通過對權(quán)值的計算判定得分;②模糊論方法:利用模糊集合理論,對實際問題進行模糊判斷、模糊決策、模糊模式識別、模糊簇聚分析。由于主觀題答案很靈活,答案不可能完全匹配,采用此方法將考生答案與答案庫中的答案進行對照,以確定答案的正確度,從而更客觀準確地評定主觀題分數(shù)。

2.3 數(shù)據(jù)挖掘在網(wǎng)絡(luò)入侵檢測系統(tǒng)方面的應(yīng)用

入侵檢測就是通過運用一些分析方法對從各種渠道獲得的反映網(wǎng)絡(luò)狀況和網(wǎng)絡(luò)行為的數(shù)據(jù)進行分析、提煉,再根據(jù)分析結(jié)果對這些數(shù)據(jù)進行評價,從而能夠識別出正常和異常的數(shù)據(jù)或者對潛在的新型入侵做出預(yù)測,以保證網(wǎng)絡(luò)的安全運行。

基于分布式數(shù)據(jù)挖掘的入侵檢測系統(tǒng)要對一個網(wǎng)段上的信息進行全面而細致的監(jiān)測,同時在網(wǎng)絡(luò)上多個點進行數(shù)據(jù)采集,如網(wǎng)關(guān)和特別需要保護的服務(wù)器等。整個系統(tǒng)構(gòu)成分為本地分類器、規(guī)則學(xué)習(xí)模塊和集中分類器三塊基本構(gòu)件。本地分類器負責對從網(wǎng)絡(luò)上各個點采集到的數(shù)據(jù)通過預(yù)處理模塊去除掉無效數(shù)據(jù),并將原始數(shù)據(jù)處理成為以后進行數(shù)據(jù)挖掘算法可識別的格式,以實現(xiàn)對數(shù)據(jù)的初步檢測和處理。本地分類器有2個輸出:一個輸出為分類數(shù)據(jù),用于提交給規(guī)則學(xué)習(xí)模塊,另外一個為數(shù)據(jù)摘要,用于提交給集中分類器。規(guī)則學(xué)習(xí)模塊負責對標記過的分類數(shù)據(jù)進行深層次的數(shù)據(jù)挖掘,從而學(xué)習(xí)到新的知識。學(xué)習(xí)到的知識被直接錄入到規(guī)則庫中,這樣保證了規(guī)則庫可以根據(jù)網(wǎng)上的變化可以隨時達到更新的需求。另外一種方式是通過規(guī)則學(xué)習(xí)模塊實現(xiàn)人工訓(xùn)練系統(tǒng),從而實現(xiàn)升級規(guī)則庫的需求。最后將分布式數(shù)據(jù)挖掘的結(jié)果形成數(shù)據(jù)摘要發(fā)送給集中分類器,由集中分類器對各點數(shù)據(jù)摘要進行匯集,從而做出綜合判斷,達到有效地檢測協(xié)同攻擊的效果,最后將檢測結(jié)果提交給決策模塊。

3 結(jié)束語

數(shù)據(jù)挖掘技術(shù)是人工智能學(xué)科的一個重要分支,也是現(xiàn)代計算機科學(xué)的一個研究重點。現(xiàn)在基于數(shù)據(jù)挖掘技術(shù)的科研可以說是碩果累累,自從人工智能這個概念被提出來之后,其發(fā)展一直是計算機學(xué)科的熱門而且其分支廣而泛,都在不同的領(lǐng)域發(fā)揮著十分重要的作用。相信在計算機研究人員的不斷努力下數(shù)據(jù)挖掘會在更多的方面服務(wù)人們,并且期待著新的理論的提出。

參考文獻:

[1] 何克抗.建立題庫的理論[M].長沙:國防科技大學(xué)出版社,1995.

[2] 劉波,段麗艷.一個基于Internet的通用題庫系統(tǒng)的設(shè)計與實現(xiàn)[J].華南師范大學(xué)學(xué)報:自然科學(xué)版,2000(1):39-44.

[3] 王實,高文.數(shù)據(jù)挖掘中的聚類方法[J].計算機科學(xué),2000,27(4):42-45.

數(shù)據(jù)挖掘范文第5篇

本課的教學(xué)對象為七年級學(xué)生，這個年齡段的學(xué)生自主和獨立意識較強，具備一定的信息搜集、處理、表達能力，喜歡在學(xué)習(xí)的過程中體驗和理解事物，但分析思考問題缺乏深度。在日常學(xué)習(xí)、生活中，學(xué)生經(jīng)常要對數(shù)據(jù)做搜集、整理、運算、統(tǒng)計和分析工作，但他們的認知大多只停留在表層，僅學(xué)會了數(shù)據(jù)加工的一些基本操作，缺乏從數(shù)據(jù)挖掘角度分析數(shù)據(jù)的意識，更不會運用統(tǒng)計學(xué)方法尋找蘊藏在數(shù)據(jù)之中的規(guī)律，借助它解決學(xué)習(xí)和生活中的實際問題。

學(xué)習(xí)內(nèi)容分析

本課是蘇科版七年級初中信息技術(shù)第三章第3節(jié)的內(nèi)容，主要包括“數(shù)據(jù)挖掘的作用”和“數(shù)據(jù)挖掘的過程”兩個部分，可深入細分為“什么是數(shù)據(jù)挖掘”“數(shù)據(jù)準備”“數(shù)據(jù)挖掘”“規(guī)律表示”四個內(nèi)容。教學(xué)中，為了讓學(xué)生深刻體會數(shù)據(jù)挖掘的意義和價值，教師應(yīng)鼓勵他們對數(shù)據(jù)進行多角度加工與分析，找到規(guī)律或有用的信息，用恰當?shù)姆绞街庇^地表達出來，學(xué)會搜集、分析身邊的數(shù)據(jù)，用數(shù)據(jù)說話，讓數(shù)據(jù)挖掘更好地服務(wù)于生活與學(xué)習(xí)。

教學(xué)目標

知識與技能目標：理解數(shù)據(jù)挖掘的概念，體會數(shù)據(jù)挖掘的作用。

過程與方法目標：嘗試進行數(shù)據(jù)挖掘，經(jīng)歷數(shù)據(jù)挖掘的一般過程。

情感態(tài)度與價值觀目標：樹立用數(shù)據(jù)說話、用數(shù)據(jù)指導(dǎo)生活的思想意識。

教學(xué)重難點

重點：數(shù)據(jù)挖掘的概念及數(shù)據(jù)挖掘的一般過程。

難點：數(shù)據(jù)準備及挖掘的過程。

教學(xué)策略

數(shù)據(jù)挖掘是一種強大的分析數(shù)據(jù)的方法，因涉及到專業(yè)軟件和統(tǒng)計學(xué)術(shù)語、數(shù)學(xué)模型等，會讓學(xué)生難以理解。而日常使用的WPS表格，作為數(shù)據(jù)挖掘的有效工具，可以讓學(xué)生在分析具體數(shù)據(jù)的過程中，掌握數(shù)據(jù)挖掘的方法。因此，本節(jié)課教學(xué)應(yīng)讓學(xué)生從已有經(jīng)驗出發(fā)，運用WPS表格中的簡單工具，學(xué)習(xí)數(shù)據(jù)挖掘的一般方法。

“數(shù)據(jù)挖掘”對學(xué)生而言，是一個全新的概念，概念的建構(gòu)需要一步步地不斷累積，從表層到內(nèi)涵，逐步深化。學(xué)生只有在了解了“數(shù)據(jù)挖掘”的基本含義，并嘗試挖掘的基礎(chǔ)上，才能體會其作用和意義。所以，筆者設(shè)計了層層遞進的學(xué)習(xí)活動（情境再現(xiàn)，感受數(shù)據(jù)挖掘―案例研習(xí)，認識數(shù)據(jù)挖掘―比較空氣質(zhì)量，嘗試數(shù)據(jù)挖掘―同比空氣質(zhì)量，再探數(shù)據(jù)挖掘―暢想未來，展望數(shù)據(jù)挖掘），并且在活動中適時搭建學(xué)習(xí)所需的“支架”，來幫助學(xué)生完成知識的建構(gòu)。筆者通過一系列的活動，讓學(xué)生在做中學(xué)，在學(xué)中思，在思中用，在情境化的技術(shù)活動中，歸納出數(shù)據(jù)挖掘的方法，從而樹立用數(shù)據(jù)說話、用數(shù)據(jù)指導(dǎo)生活的思想意識。

教學(xué)過程

1.情境再現(xiàn)，感受數(shù)據(jù)挖掘

活動1：情境再現(xiàn)，感受數(shù)據(jù)挖掘。

①猜一猜：不同的人群瀏覽同一個網(wǎng)頁時，所看到的內(nèi)容是否一致。

②觀察鳳凰網(wǎng)的廣告區(qū)域截圖，在組內(nèi)交流（如下頁圖1，不同人群瀏覽的同一網(wǎng)頁，推送的廣告不同）。

③京東為什么能夠根據(jù)個人喜好推送商品？

小結(jié)：京東在挖掘和分析用戶瀏覽行為的基礎(chǔ)上，進行定向產(chǎn)品推廣。

設(shè)計意圖：思維總是由問題開始的，激發(fā)問題，能讓學(xué)生積極主動地參與到學(xué)習(xí)活動中。以京東廣告推送功能來設(shè)置情境，把兩種不同的瀏覽行為對照比較，設(shè)置懸念，第一時間抓住學(xué)生，激發(fā)學(xué)生學(xué)習(xí)新知識、新技術(shù)的渴望。

2.案例研習(xí)，認識數(shù)據(jù)挖掘

活動2：學(xué)生觀看視頻，并思考、總結(jié)。

①安保為什么使用熱力圖（如圖2）？（對百度的定位數(shù)據(jù)、搜索數(shù)據(jù)進行挖掘，把握人群密集點動態(tài)趨勢，幫助警方提前疏導(dǎo)、化解安全風(fēng)險）

②百度大數(shù)據(jù)對旅游有什么作用（如圖3）？（對用戶搜索數(shù)據(jù)深入挖掘，預(yù)測熱門旅游景點）

③導(dǎo)航是如何規(guī)劃路徑的（如圖4）？（對道路環(huán)境、天氣情況、特征日等數(shù)據(jù)進行挖掘和分析，得出每條道路在不同環(huán)境或不同時間的路況規(guī)律，確定最優(yōu)的交通路線）

師生對數(shù)據(jù)進行分析、總結(jié)（如表1）。

小結(jié)：數(shù)據(jù)挖掘是指從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)。數(shù)據(jù)挖掘的目的主要有三個：把握趨勢、預(yù)測和求最優(yōu)解。

設(shè)計意圖：選取日常生活中運用數(shù)據(jù)挖掘的三個典型事例視頻――熱力圖、旅游預(yù)測、導(dǎo)航，借助半成品表格作為輸出支架，歸納出數(shù)據(jù)挖掘的概念和數(shù)據(jù)挖掘的三個目的。體會挖掘數(shù)據(jù)價值性的同時，認識數(shù)據(jù)加工的重要性，為數(shù)據(jù)挖掘的學(xué)習(xí)做好鋪墊。

3.比較空氣質(zhì)量，嘗試數(shù)據(jù)挖掘

師：圖5中空氣質(zhì)量預(yù)報實現(xiàn)了數(shù)據(jù)挖掘的哪一種目標？（把握趨勢）鹽城市空氣質(zhì)量如何？借助熟悉的WPS表格工具，嘗試挖掘空氣質(zhì)量狀況。

活動3：比較鹽城、秦州、淮安等周邊城市空氣質(zhì)量狀況。

①登錄中國空氣質(zhì)量在線監(jiān)測分析平臺（http：///historydata/），建立鹽城周邊三市空氣質(zhì)量狀況工作表（如圖6）。

影響空氣質(zhì)量的因素很多，AQI指數(shù)是衡量空氣質(zhì)量的重要指標。

教師演示：瀏覽數(shù)據(jù)，提取數(shù)據(jù)，組成工作表（如圖7）。

②計算各市4月份空氣質(zhì)量指數(shù)AQI的平均數(shù)。（提示：AVERAGE公式使用方法以及自動填充柄的使用）

③比較4月份空氣質(zhì)量狀況。（結(jié)論：質(zhì)量指數(shù)平均值大小依次是鹽城、秦州、淮安）

師：根據(jù)質(zhì)量指數(shù)，利用函數(shù)工具計算平均數(shù)，得出空氣質(zhì)量狀況，其實就是數(shù)據(jù)的挖掘。數(shù)據(jù)挖掘的一般過程如圖8所示。

設(shè)計意圖：從全國空氣質(zhì)量在線監(jiān)測分析平臺搜集數(shù)據(jù)，選擇WPS函數(shù)工具挖掘數(shù)據(jù)，并對挖掘結(jié)果加以解釋，來建構(gòu)數(shù)據(jù)挖掘的一般過程。在嘗試數(shù)據(jù)挖掘的過程中，學(xué)會運用計算思維解決問題，借助流程圖總結(jié)挖掘過程，有助于學(xué)生從整體上把握知識，進一步促進認知體系的構(gòu)建。

4.同比空氣質(zhì)量，再探數(shù)據(jù)挖掘

師：通過挖掘比較，我們得出鹽城市4月份空氣質(zhì)量在周邊城市當中最好，各市以前的空氣質(zhì)量狀況如何？

活動4：比較各市2014年、2015年空氣質(zhì)量數(shù)據(jù)，說明哪一年空氣質(zhì)量更好（如圖9）。

①在選定城市后，思考如何同比質(zhì)量。

②選取函數(shù)或圖表工具，完成挖掘。

③規(guī)律表示。

④從“我的數(shù)據(jù)分析報告”中的各組中任選城市，從“2014年數(shù)據(jù)、2015年數(shù)據(jù)”工作表中，選取數(shù)據(jù)到“同比空氣質(zhì)量”進行分析（如下頁表2）。

小組匯報挖掘過程和得出的結(jié)論，形成對數(shù)據(jù)挖掘的新認識。

小結(jié)：用平均數(shù)比較，各市兩年的數(shù)據(jù)基本相同，但是合格月份數(shù)不一定相同，同比AQI低的月份數(shù)也不相同。學(xué)生同比之后發(fā)現(xiàn)，2015年空氣質(zhì)量好于2014年。

設(shè)計意圖：學(xué)生借助分析報告，以分組合作的形式，再次經(jīng)歷挖掘數(shù)據(jù)的過程，找到規(guī)律或有用的信息，加深對挖掘過程的理解。鼓勵學(xué)生對數(shù)據(jù)進行多角度的加工與分析，選擇合適的工具進行挖掘，體現(xiàn)了多元化的思想。

5.暢想未來，展望數(shù)據(jù)挖掘

觀看視頻（如上頁圖10，圖10中左圖為京東慧眼的視頻截圖，右圖為基因測序的視頻截圖），想象：數(shù)據(jù)挖掘技術(shù)的廣泛應(yīng)用，對生活會產(chǎn)生怎樣的影響？

如今，數(shù)據(jù)挖掘改變了傳統(tǒng)的生活模式，未來將會產(chǎn)生更加深遠的影響。因此，我們應(yīng)學(xué)會搜集、分析身邊的數(shù)據(jù)，用數(shù)據(jù)說話，挖掘數(shù)據(jù)創(chuàng)造出更智慧的生活方式。

設(shè)計意圖：通過視頻播放，讓學(xué)生深度感受“數(shù)據(jù)挖掘”與生活息息相關(guān)，挖掘數(shù)據(jù)將給人們生活帶來的改變，培養(yǎng)學(xué)生搜集、分析身邊的數(shù)據(jù)，用數(shù)據(jù)說話的意識。

點 評

如今，數(shù)據(jù)挖掘已被廣泛應(yīng)用在各個領(lǐng)域。什么是數(shù)據(jù)挖掘？顧名思義就是從龐大的數(shù)據(jù)中挖掘?qū)毑兀ㄐ畔ⅰ⒅R、見解等）的方法和過程。顯然，對于初學(xué)者而言，這是一個全新的概念，僅靠上述說明難以理解它的含義。在傳統(tǒng)教學(xué)中，教師往往讓學(xué)生背誦記憶這些內(nèi)容，學(xué)生并沒有形成概念的深層理解。為此，董老師從理解數(shù)據(jù)挖掘出發(fā)，選取數(shù)據(jù)挖掘的三個典型事例――熱力圖、旅游預(yù)測、導(dǎo)航，精心組織學(xué)習(xí)活動，在半成品表格的引導(dǎo)下，歸納出數(shù)據(jù)挖掘的三個目的――把握趨勢、預(yù)測和求最優(yōu)解，體會挖掘數(shù)據(jù)的價值，進而概括出數(shù)據(jù)挖掘的概念。