国产毛片精品av一区二区,无码内射成人免费喷射,久久久精品日本一区二区三区,免费无码观看的av在线播放,亚洲人成在线观看网站无码,无码精油按摩潮喷在播放,精品无码久久久久久尤物,亚洲国产成人影院在线播放
Web Design
Mobile Internet
Brand Design
Innovative
News
Encyclopedias

大數據的挖掘“大”在哪里?

Date:2017-12-11 Aource:曾劍平 Type:網站百科
Word Size:small  medium  big

  以前我們談論數據挖掘,而大數據時代我們談論大數據挖掘。那么大數據挖掘“大”在哪里? 本文對此進行了一些歸納,希望能提供一些思考問題的方法。
不足之處請留言發表意見。
 
一、數據量的大
       數據量大到多少? 這是一個很多人在進行大數據挖掘時要問的問題。
從一些實際應用看,一般每天處理的數據量達到T、P級別的,可以考慮部署Hadoop、Spark之類的大數據處理平臺,一定量級的數據處理才能突顯這些平臺的優越性。
      數據量少,數據的讀取、搬遷所花費的時間占比太多,反而無法體現大數據處理平臺的優勢。不少應用只是為了大數據而大數據,幾百M也弄個Hadoop。因此,現在一談大數據就認為是Hadoop、Spark等平臺是很有局限性的。
      當然,實際在決定是否使用大數據平臺時,可能需要考慮更多的因素,例如:要集成很多的低性能機器、異構軟硬件平臺間的可移植性、大量的非結構化數據處理等。
 
二、數據類型的多樣化
      在數據挖掘時代,我們挖掘的數據主要以關系型數據為主。大數據時代,各種應用產生了各種數據,通常在大數據挖掘中會涉及到多種數據類型。這里所說的數據類型不是程序設計中的普通數據類型,而是更接近于應用的數據表現形式,通常有時間序列數據、軌跡數據、圖數據、文本數據等等。
      每天的銷售記錄、價格是普通數據類型,但是從時間維度將它們按照順序連接起來,構成的時間序列數據能體現出價格的變化規律,理所當然具有更豐富的含義。
       每個人所處的位置不過是一個(x,y)的普通數據類型,但是按照移動的先后順序把位置連接起來,就構成了某人的活動軌跡,背后體現的是他的生活、習慣,這些隱藏信息才是大數據應當關注的。
       微博或論壇中每個人是獨立存在的,也是普通數據,但是如果把每個人按照粉絲、關注等關系連接起來,就可以構成一張很大的圖,即圖數據。圖中的人群、離群,以及加上群體偏好、群體運動等屬性后的高等圖數據,就是大數據挖掘的關注點。
 
三、數據處理的噪音
      在數據挖掘時代,數據來源于關系型數據庫,都是一些與業務相關、質量比較高的數據,一般拿來就可以直接挖。大數據挖掘肯定就不是這樣,大數據思維決定了我們要考慮不同來源的數據的質量、數據結構魚龍混雜,以增強數據處理的魯棒性。比如,要進行企業級的客戶分析,不同的分公司可能使用不同的客戶管理系統,有的系統采用本科/碩士/博士來區分客戶的學歷,而有的采用本科/研究生來區分,這就要求考慮數據的一致性處理。此外,數據格式、數據完整性等等都是大數據挖掘需要考慮的。
 
四、數據挖掘的多樣化
      在數據挖掘時代,一般側重于單項的數據分析,而大數據挖據可能會更側重于多項數據挖掘任務同時存在,如業務上同時要求分類、預測、相關性、聚類等。盡管業務需求多了,但是這些分類、預測、相關性、聚類可能在底層上采用的是同一種模型,因此,在大數據挖據時考慮模型、算法與業務的分離是非常重要的,即所謂的大數據處理層次結構。
 
?

Please contact our consultant

+86 10-60259772

Please provide your contact number. The project manager of shangpin China will contact you as soon as possible.

主站蜘蛛池模板: 亚洲在av人极品无码网站| 西西大胆午夜视频无码| 日韩av无码精品一二三区| 天天做天天爱天天做天天吃中| 亚洲人和日本人jzz视频| 法国啄木乌av片在线播放| 秋霞电影网午夜鲁丝片无码| 国产成人a在线视频免费| 国产精品久久无码不卡| 免费国产在线精品一区二区三区| 日本欧美亚洲中文在线观看| 熟女无套高潮内谢吼叫免费| 亚洲综合色噜噜狠狠网站超清| 青青国产线免观| 久久天天躁狠狠躁夜夜av浪潮| 国产吃奶在线观看| 亚洲一区二区三区自拍公司| 加勒比中文字幕无码一区| av无码精品一区二区三区三级| 日本高清中文字幕免费一区二区| 狠狠色丁香久久综合婷婷| 国产福利视频在线精品| 亚洲中文字幕无码专区| 久久伊人五月丁香狠狠色| 久久97久久97精品免视看| 久久丝袜脚交足免费播放导航| 欧美成aⅴ人高清ww| 久久天天躁狠狠躁夜夜不卡| 亚洲人成网站观看在线播放| 亚洲欧洲日产国码韩国| 国产亚洲精品久久久久婷婷图片| 国产在线观看无码的免费网站| 亚洲欲色欲色xxxxx在线| 国产精品亚亚洲欧关中字幕| 成人精品视频一区二区不卡| 国产熟女内射oooo| 亚洲 欧美 国产 日韩 中文字幕| av天堂永久资源网亚洲高清| 国内揄拍国内精品少妇| 久久99热全是成人精品| 国产精品va无码二区|