如果有幾百億條資料,如何在hbase表中存放

時間 2022-10-10 22:45:21

1樓:罐頭l桃子

1、首先你有沒有那麼多臺伺服器的叢集,如果只是幾臺,你要想夠不夠,你的hbase 有幾百億,那麼你hdfs上的資料可能要有兩個備份,你這幾百億條是如何生成的,肯定是mapreduce跑出來匯入到hbase中把,那麼原始資料你要不要留,如果留,加上備份就要三份,所以節點的多少要確定。

2、幾百億其實挺多的,hbase 的設計一定要跟你的業務相關,hbase他不能完全像關係型資料庫那樣去隨意查詢,到達一定量級,如果設計的不好也是非常之慢的,甚至將hbase搞到崩潰。所以你先去網上看看rowkey的設計原則,比如長度原則等等,然後根據自己業務,哪些查詢經常用到,哪些不會用到,想要用hbase實現那種非常靈活的類似關聯式資料庫的查詢是不理智的。

3、樓上的兄弟說得對,還有region熱點的問題,如果你的hbase資料不是那種每天增量的資料,建議跑個mapreduce對你的資料進行各評判,看看如何能將資料儘可能均勻的分配到每個region中,當然這需要預先分配region

4、幾百億條資料,如果對rowkey進行模糊過濾一定非常非常之慢,所以可以考慮二級索引或者協處理器

2樓:霜龍龍

好好設計rowkey,避免region熱點

hbase 一張表 能存多少資料

3樓:匿名使用者

1、首先你有沒有那麼多臺伺服器的叢集,如果只是幾臺,你要想夠不夠,你的hbase 有幾百億,那麼你hdfs上的資料可能要有兩個備份,你這幾百億條是如何生成的,肯定是mapreduce跑出來匯入到hbase中把,那麼原始資料你要不要留,如果留,加上備份就要三份,所以節點的多少要確定。

2、幾百億其實挺多的,hbase 的設計一定要跟你的業務相關,hbase他不能完全像關係型資料庫那樣去隨意查詢,到達一定量級,如果設計的不好也是非常之慢的,甚至將hbase搞到崩潰。所以你先去網上看看rowkey的設計原則,比如長度原則等等,然後根據自己業務,哪些查詢經常用到,哪些不會用到,想要用hbase實現那種非常靈活的類似關聯式資料庫的查詢是不理智的。

3、樓上的兄弟說得對,還有region熱點的問題,如果你的hbase資料不是那種每天增量的資料,建議跑個mapreduce對你的資料進行各評判,看看如何能將資料儘可能均勻的分配到每個region中,當然這需要預先分配region

4、幾百億條資料,如果對rowkey進行模糊過濾一定非常非常之慢,所以可以考慮二級索引或者協處理器

hbase如何用過濾器實現專案某個求總數量的統計

如何獲取hbase資料庫中「最後一條」資料

4樓:折柳成萌

select * from (select t.*,from table t order by pxcolumn desc) where rownum =1 按照自己希望排序方式排好之後,然後,取第一行

5樓:匿名使用者

使用scan物件中setreversed方法倒序查詢第一條記錄

如何獲取hbase資料庫中「最後一條」資料

如何在資料庫中查詢表的多條資料,如何在資料庫中查詢一個表的多條資料

給思路 有問題m我 首先查詢sysytemobject 系統所有表記錄 簡單了 欄位名 張三 遍歷 for下 怎樣查詢sql資料庫中某一個表中的某個列的一個數值的所有行資料?c 如何獲取資料庫中某個表中的其中一個欄位的多條值 給你一個思路。用using一下system.data.sqlclient類...

是否寬容沒有底線,如果有,當如何把握?

個性很像我一同學!哈哈 不會是你吧?這個問題不在這研究,先研究一下你們該怎麼過小日子,汗 你的情緒那麼沉靜,思緒那麼條理,而且學識比較豐富,再蠢的女人跟你時間長了也蠢不到 去 不過她有習慣性犯傻的可能,沒有你時估計她不會犯傻 不過再聰明的女人也會犯犯傻,風度就繼續給你的女人吧!就如樓上說的,智慧不必...

如果有人被刺傷,該如何在第一時間為他止血?

毫無疑問,如果有人受傷了,止血肯定是需要第一時間做的。至於止血的方法,則要看具體受傷的地方是在 如果是在手臂,那就要在上臂接近心臟的地方緊緊繫住,不要讓血液繼續流失,並且用醫用棉等東西包紮傷口。如果有止血藥,那就更好了,毫無疑問有的時候對人的傷病來說藥物 是必須的。因為血液對人體來說是非常重要的,不...