數(shù)據(jù)量大導(dǎo)致索引失效應(yīng)該怎么辦？

優(yōu)化查詢，盡量避免全表掃描，避免索引失效。

判斷wh

物聯(lián)網(wǎng)時代的數(shù)據(jù)庫如何選型？

在物聯(lián)網(wǎng)時代，大量的數(shù)據(jù)產(chǎn)生于不同的設(shè)備傳感器，因此單個數(shù)據(jù)庫系統(tǒng)可以我不能存儲這么大量的數(shù)據(jù)。在選擇數(shù)據(jù)庫時，我們一定要選擇具有分布式存儲能力的數(shù)據(jù)庫。

在物聯(lián)網(wǎng)時代，數(shù)據(jù)之間還有一個很重要的特征，就是數(shù)據(jù)之間的關(guān)聯(lián)性。互連的互聯(lián)網(wǎng)設(shè)備傳感器產(chǎn)生不同的數(shù)據(jù)。由于不同的傳感器相互連接，共同工作，收集數(shù)據(jù)，如何在數(shù)據(jù)庫中存儲大量相互關(guān)聯(lián)的數(shù)據(jù)？這里我推薦使用圖形數(shù)據(jù)庫進(jìn)行存儲。

與其他數(shù)據(jù)庫相比，圖數(shù)據(jù)庫最大的優(yōu)點是查詢數(shù)據(jù)之間的相關(guān)性會更快，耗時更少。例如，在社交網(wǎng)絡(luò)中，我們想要找出在用戶A的粉絲中，粉絲關(guān)注用戶b。如果使用傳統(tǒng)的關(guān)系數(shù)據(jù)庫來存儲用戶顧慮，在上面的數(shù)據(jù)統(tǒng)計中，計算結(jié)果需要兩層Join，但是關(guān)系數(shù)據(jù)庫的Join操作會很慢。如果你使用一個圖形數(shù)據(jù)庫來存儲數(shù)據(jù)，圖中的點是用戶，邊是用戶擔(dān)憂。當(dāng)你查詢A的粉絲，粉絲也關(guān)注B的用戶時，只需要遍歷兩級關(guān)注就能快速得到結(jié)果。

圖形數(shù)據(jù)庫也屬于NoSql數(shù)據(jù)庫的一種。常用的圖形數(shù)據(jù)庫有JanusGraph、Secondary、Cayley和dgraph。不同的圖形數(shù)據(jù)庫有不同的底層實現(xiàn)。

JanusGraph是一個分布式圖形數(shù)據(jù)庫，用Java語言開發(fā)。Hadoop生態(tài)存儲系統(tǒng)可以作為數(shù)據(jù)源構(gòu)建大數(shù)據(jù)圖。是TiTangraph數(shù)據(jù)庫的開源版本，支持事務(wù)性ACID。

Secondary是單機(jī)圖形數(shù)據(jù)庫，優(yōu)點是可以快速安裝使用，很容易出新。學(xué)生入門。如果你的數(shù)據(jù)量普遍較小，我推薦使用Secondary。可以直接使用二次相關(guān)的API來構(gòu)建數(shù)據(jù)模型圖，然后使用二次Cypher查詢語言來分析數(shù)據(jù)。Cypher是一種類似SQL的語言。

Cayley和Dgraph都是用Go語言實現(xiàn)的圖形數(shù)據(jù)庫，Go語言最大的特點就是編譯速度快，開發(fā)方便。Cayley和Dgraph都支持分布式存儲，但都不支持SQL語言查詢數(shù)據(jù)，Dgraph不支持事務(wù)，Cayley支持事務(wù)。但在開源社區(qū)中，Dgraph比Cayley更活躍，建議先用Dgraph作為物聯(lián)網(wǎng)的存儲數(shù)據(jù)庫。

總的來說，在物聯(lián)網(wǎng)時代，一定要學(xué)會使用圖數(shù)據(jù)庫，在分析大量數(shù)據(jù)之間的相關(guān)性時，圖數(shù)據(jù)庫可以派上用場。圖形數(shù)據(jù)庫最大的優(yōu)勢是分析不同數(shù)據(jù)之間的相關(guān)性。

我m湖，專注于大數(shù)據(jù)技術(shù)、互聯(lián)網(wǎng)技術(shù)洞察和程序員個人經(jīng)驗分享。如果我的問答對你有幫助，希望你能喜歡轉(zhuǎn)發(fā)或者關(guān)注我，也就是我繼續(xù)分享我關(guān)于大數(shù)據(jù)的知識。謝謝您們。