YDB是壹個細粒度的索引,精確粒度的索引。數據即時導入,索引即時生成,通過索引高效定位到相關數據。YDB與Spark深度集成,Spark對YDB檢索結果集直接分析計算,同樣場景讓Spark性能加快百倍。
我們的開發人員曾在阿裏與騰訊任職,期間研發了多套即席分析索引系統,積累豐富的經驗,正是這些經驗的積累,才成就了如今的延雲YDB。
11年:支付寶黃金策的後臺技術-海狗 (參考資料)
12年:阿裏開源項目Committer MDRLL (多維分析 參考資料)與 JStorm(流計算 參考資料)
14年:騰訊的Hermes(每天千億總量萬億的即席分析 參考資料)
YDB的主要特性
為探索性分析與即席分析而設計
YDB的即席分析(Ad Hoc)概念的解釋
1:當場,就是當場去查詢,現場 隨意、即興 查詢。
2:響應時間要求為幾秒才能稱為即席。
即席分析與普通分析的區別
1.普通的應用分析是定制開發的,大多是預先計算好的。
2.即席分析是用戶在使用時臨時生產的分析,查詢條件事先未知,系統無法預先優化這些查詢,在現場沒法預先準備,所以即席查詢的性能也是評估數據倉庫的壹個重要指標。
YDB適合的行業
在公安系統的-典型的場景
齊全的功能
卓越的排序性能
按照時間逆序排序可以說是很多日誌系統的硬指標。在延雲YDB系統中,我們改變了傳統的暴力排序方式,通過索引技術,可以超快對數據進行單列排序,不需要全表暴力掃描,這個技術我們稱之為BlockSort。
卓越的檢索與分析性能(相比Spark的性能提升倍數)
與ORACLE性能對比
查布控場景性能
哪些用戶適合使用YDB?
1.傳統關系型數據,已經無法容納更多的數據,查詢效率嚴重受到影響的用戶。
2.目前在使用SOLR、ES做全文檢索,覺得solr與ES提供的分析功能太少,無法完成復雜的業務邏輯,或者數據量變多後SOLR與ES變得不穩定,在掉片與均衡中不斷惡性循環,不能自動恢復服務,運維人員需經常半夜起來重啟集群的情況。
3.基於對海量數據的分析,但是苦於現有的離線計算平臺的速度和響應時間無滿足業務要求的用戶。
4.需要對用戶畫像行為類數據做多維定向分析的用戶。
5.需要對大量的UGC(User Generate Content)數據進行檢索的用戶。
6.當妳需要在大數據集上面進行快速的,交互式的查詢時。
7.當妳需要進行數據分析,而不只是簡單的鍵值對存儲時。
8.當妳想要分析實時產生的數據時。
企業級特性:穩定,可靠,易用