Alluxio數(shù)據(jù)存儲系統(tǒng)

Alluxio數(shù)據(jù)存儲系統(tǒng)是一款非常便捷好用的數(shù)據(jù)庫框架，它結合了傳統(tǒng)數(shù)據(jù)庫分類齊全的優(yōu)點，又吸收了大數(shù)據(jù)存儲的優(yōu)勢，給用戶非常良好的使用體驗。讓用戶在更少的選擇中進行更多的數(shù)據(jù)信息操作！

應用簡介：

Alluxio發(fā)布了，Alluxio是一個高容錯的分布式文件系統(tǒng)，允許文件以內存的速度在集群框架中進行可靠的共享，類似Spark和 MapReduce。通過利用lineage信息，積極地使用內存，Alluxio的吞吐量要比HDFS高300多倍。Alluxio都是在內存中處理緩 存文件，并且讓不同的 Jobs/Queries以及框架都能內存的速度來訪問緩存文件。

應用產品特性：

Alluxio居于傳統(tǒng)大數(shù)據(jù)存儲和大數(shù)據(jù)計算框架(如Spark，Hadoop Mapreduce)之間；

在大數(shù)據(jù)領域，最底層的是分布式文件系統(tǒng)，如Amazon S3、Apache HDFS等，而較高層的應用則是一些分布式計算框架，如Spark、MapReduce、Hbase、Flink等。

關于Alluxio：

與其他諸如HDFS、HBase、Spark等大數(shù)據(jù)相關框架一致，Alluxio也是一個主從結構的系統(tǒng)。它的主節(jié)點為Master，負責管理全局的文件系統(tǒng)元數(shù)據(jù)，比如文件系統(tǒng)樹等，而從節(jié)點為Worker，負責管理本節(jié)點數(shù)據(jù)存儲服務。另外，Alluxio還有一個組件為Client，為用戶提供統(tǒng)一的文件存取服務接口。當應用程序需要訪問Alluxio時，通過客戶端先與主節(jié)點Master通訊，或許對應文件的元數(shù)據(jù)，然后再和對應Worker節(jié)點通訊，進行實際的文件存取操作。所有的Worker會周期性地發(fā)送心跳給Master，維護文件系統(tǒng)元數(shù)據(jù)信息和確保自己被Master感知扔在集群中正常提供服務，而Master不會主動發(fā)起與其他組件的通信，它只是以回復請求的方式與其他組件進行通信。這與HDFS、HBase等分布式系統(tǒng)設計模式是一致的。

相關視頻：