hive和hbase有什麼關係和區別

時間 2021-08-30 11:13:10

1樓:匿名使用者

共同點:

1.hbase與hive都是架構在hadoop之上的。都是用hadoop作為底層儲存

區別:2.hive是建立在hadoop之上為了減少mapreduce jobs編寫工作的批處理系統,hbase是為了支援彌補hadoop對實時操作的缺陷的專案 。

3.想象你在操作rmdb資料庫,如果是全表掃描,就用hive+hadoop,如果是索引訪問,就用hbase+hadoop 。

4.hive query就是mapreduce jobs可以從5分鐘到數小時不止,hbase是非常高效的,肯定比hive高效的多。

5.hive本身不儲存和計算資料,它完全依賴於hdfs和mapreduce,hive中的表純邏輯。

6.hive借用hadoop的mapreduce來完成一些hive中的命令的執行

7.hbase是物理表,不是邏輯表,提供一個超大的記憶體hash表,搜尋引擎通過它來儲存索引,方便查詢操作。

8.hbase是列儲存。

9.hdfs作為底層儲存,hdfs是存放檔案的系統,而hbase負責組織檔案。

10.hive需要用到hdfs儲存檔案,需要用到mapreduce計算框架。

2樓:匿名使用者

應該是hadoop在hbase和hive中的作用吧。 hbase與hive都是架構在hadoop之上的。都是用hadoop作為底層儲存。

而hbase是作為分散式資料庫,而hive是作為分散式資料倉儲。當然hive還是借用hadoop的mapreduce來完成一些hive中的命令的執行。而hbase與hive都是單獨安裝的。

你需要哪個安裝哪個,所以不存在重複資訊。

hbase和hive的差別是什麼,各自適用在什麼場景中

3樓:

hbase和hive的主要區別是:他們對於其內部的資料的儲存和管理方式是不同的,hbase其主要特點是仿照bigtable的列勢儲存,對於大型的資料的儲存,查詢比傳統資料庫有巨大的優勢,而hive其產生主要應對的資料倉儲問題,其將存在在hdfs上的檔案目錄結構對映成表。主要關注的是對資料的統計等方面。

適合的場景:

hbase:適合大型資料儲存,其作用可以類比於傳統資料庫的作用,主要關注的資料的存取。

hive:適合大資料的管理,統計,處理,其作用類比於傳統的資料倉儲,主要關注的資料的處理。

總結:應對大資料的時候,如果你偏重於資料儲存查詢hbase無疑是更加適合,而你關注的是對大資料的處理結果查詢,比如你查詢的時候有類似於count,sum等函式操作 hive就能滿足你的需求,一般有些專案都輸在hive裡面進行資料處理,然後將結果匯入mysql等資料庫或者hbase中進行查詢,至於mysql與hbase的選擇 比較傾向於你的處理之後的資料量

hbase和hive的差別是什麼,各自適用在什麼場景中

4樓:育知同創教育

hbase和hive的差別對比:

1、hbase當前nosql資料庫的一種,hive是hdfs分散式檔案系統的一種,二者對資料的儲存方式是不同的。

2、使用場景:

hbase最常見的應用場景就是採集的網頁資料的儲存,由於是key-value型資料庫,可以再擴充套件到各種key-value應用場景,如日誌資訊的儲存,對於內容資訊不需要完全結構化出來的類cms應用等。注意hbase針對的仍然是oltp應用為主。

hive主要針對的是olap應用,其底層是hdfs分散式檔案系統,重點是基於一個統一的查詢分析層,支撐olap應用中的各種關聯,分組,聚合類sql語句。hive一般只用於查詢分析統計,而不能是常見的cud操作,要知道hive是需要從已有的資料庫或日誌進行同步最終入到hdfs檔案系統中,當前要做到增量實時同步都相當困難。

hbase和hive的差別是什麼,各自適用在什麼場景中

5樓:匿名使用者

對於hbase當前nosql資料庫的一種,最常見的應用場景就是採集的網頁資料的儲存,由於是key-value型資料庫,可以再擴充套件到各種key-

value應用場景,如日誌資訊的儲存,對於內容資訊不需要完全結構化出來的類cms應用等。注意hbase針對的仍然是oltp應用為主。

對於hive主要針對的是olap應用,注意其底層不是hbase,而是hdfs分散式檔案系統,重點是基於一個統一的查詢分析層,支撐olap應用中的各

種關聯,分組,聚合類sql語句。hive一般只用於查詢分析統計,而不能是常見的cud操作,要知道hive是需要從已有的資料庫或日誌進行同步最終入

到hdfs檔案系統中,當前要做到增量實時同步都相當困難。

和mysql,oracle完全不是相同的應用場景。這個是結構化資料庫,針

對的更多的是結構化,事務一致性要求高,業務規則邏輯複雜,資料模型複雜的企業資訊化類應用等。包括網際網路應用中的很多業務系統也需要通過結構化資料庫來

實現。所以和hbase,hive不是一個層面的東西,不比較。

hbase和hive在hadoop中的功能有什麼聯絡 他們怎麼分別作業的

應該是hadoop在hbase和hive中的作用吧。hbase與hive都是架構在hadoop之上的。都是用hadoop作為底層儲存。而hbase是作為分散式資料庫,而hive是作為分散式資料倉儲。當然hive還是借用hadoop的mapreduce來完成一些hive中的命令的執行。而hbase與h...

心和大腦有什麼關係,意識和大腦是什麼關係

萬劫 玄若法師答 阿彌陀佛,關於真心與妄心的關係,比較難懂,也比較複雜,如果談玄說妙的來解釋,弄得似懂非懂,也沒啥意思,所以,我就講的簡單點,直白點,當然,這必然會離原 有一定的差距,所以,真正想要弄明白,還要請您有空研究一下原 一個病危的人,他在生命即將結束之前,回憶起自己這一世的種種,或喜或悲,...

粘性與溫度有什麼關係,粘度和粘性有什麼關係?

情定亞平寧 粘度 粘度 viscosity 度量流體粘性大小的物理量。又稱粘性係數 動力粘度,記為 牛頓粘性定律指出,在純剪下流動中相鄰兩流體層之間的剪應力 或粘性摩擦應力 為式中dv dy為垂直流動方向的法向速度梯度。粘度數值上等於單位速度梯度下流體所受的剪應力。速度梯度也表示流體運動中的角變形率...