時間:2024-03-26 14:41作者:下載吧人氣:19
前言
分片(sharding)是MongoDB將大型集合分割到不同服務(wù)器(或者說集群)上所采用的方法,主要為應(yīng)對高吞吐量與大數(shù)據(jù)量的應(yīng)用場景提供了方法。
將數(shù)據(jù)分散到不同的機器上,不需要功能強大的服務(wù)器就可以存儲更多的數(shù)據(jù)和處理更大的負(fù)載。基本思想就是將集合切成小塊,這些塊分散到若干片里,每個片只負(fù)責(zé)總數(shù)據(jù)的一部分,最后通過一個均衡器來對各個分片進(jìn)行均衡(數(shù)據(jù)遷移)。通過一個名為mongos的路由進(jìn)程進(jìn)行操作,mongos知道數(shù)據(jù)和片的對應(yīng)關(guān)系(通過配置服務(wù)器)。大部分使用場景都是解決磁盤空間的問題,對于寫入有可能會變差(+++里面的說明+++),查詢則盡量避免跨分片查詢。
使用分片的時機:
1,機器的磁盤不夠用了。使用分片解決磁盤空間的問題。
2,單個mongod已經(jīng)不能滿足寫數(shù)據(jù)的性能要求。通過分片讓寫壓力分散到各個分片上面,使用分片服務(wù)器自身的資源。
3,想把大量數(shù)據(jù)放到內(nèi)存里提高性能。和上面一樣,通過分片使用分片服務(wù)器自身的資源。
和既有的分庫分表、分區(qū)方案相比,MongoDB的最大區(qū)別在于它幾乎能自動完成所有事情,只要告訴MongoDB要分配數(shù)據(jù),它就能自動維護(hù)數(shù)據(jù)在不同服務(wù)器之間的均衡。
一. 分片的集群組件
1.Mongos 【路由】
作為請求的訪問入口,所有的請求都由mongos來路由、分發(fā)、合并,這些動作對客戶端driver透明,用戶連接mongos就像連接mongod一樣使用。Mongos會根據(jù)請求類型及shard key將請求路由到對應(yīng)的Shard。
2.Config Server 【配置服務(wù)器】
存儲Sharding Cluster 的所有元數(shù)據(jù),所有的元數(shù)據(jù)都存儲在config數(shù)據(jù)庫;
*保存每個分片上的chunk的信息 * 保存chunk上的片鍵范圍。
3. Shard 【分片】
存儲應(yīng)用數(shù)據(jù)記錄。
二. 分片優(yōu)勢
1.對集群進(jìn)行抽象,讓集群“不可見”,分片對應(yīng)用系統(tǒng)是透明的。
Mongos是專有路由進(jìn)程,其會將客戶端發(fā)來的請求準(zhǔn)確無誤的路由到集群中的一個或者一組服務(wù)器上,同時會把接收到的響應(yīng)拼裝起來發(fā)回到客戶端。
2.保證集群總是可讀寫
將MongoDB的分片和復(fù)制集功能結(jié)合使用,在確保數(shù)據(jù)分片到多臺服務(wù)器的同時,也確保了每分?jǐn)?shù)據(jù)都有相應(yīng)的備份,可以確保有服務(wù)器壞掉時,其他的從庫可以立即接替壞掉的部分繼續(xù)工作。提高了集群的可用性和可靠性。
3.使集群易于擴(kuò)展
當(dāng)系統(tǒng)需要更多的空間和資源的時候,MongoDB使我們可以按需方便的擴(kuò)充系統(tǒng)容量。
三. 分片部署注意事項(常見錯誤)
1.配置可復(fù)制集作為分片節(jié)點與配置單獨使用的可復(fù)制集基本一樣。但啟動參數(shù)中需指定—shardsvr參數(shù)。
否則,在啟動數(shù)據(jù)庫分片時報錯: {"code" : 193,"ok" : 0, "errmsg" : "Cannot accept sharding commands if not started with --shardsvr“}
。
2.創(chuàng)建配置服務(wù)器集群時,不能設(shè)置見證節(jié)點。
否則,報錯 “errmsg” : "Arbiters are not allowed in replica set configurations being used for config servers"
。
3.配置Mongos 實例時,請不要配置dbpath參數(shù)。
否則,設(shè)置dbpath參數(shù),服務(wù)無法正常啟動,報錯:Error parsing INI config file: unrecognised option 'dbpath'
。
4.配置Mongos 實例時,需設(shè)置Keyfile。
否則,不設(shè)置Keyfile,Service無法正常啟動, 報錯:2018-05-10T15:30:26.791+0800 W SHARDING [mongosMain] Error initializing sharding state, sleeping for 2 seconds and trying again :: caused by :: Unauthorized: Error loading clusterID :: caused by :: not authorized on config to execute command { find: “version”, readConcern: { level: “majority”, afterOpTime: { ts: Timestamp 1525937413000|2, t: 1 } }, maxTimeMS: 30000
5.分片集合設(shè)置。
分片不會默認(rèn)生成,需要先在數(shù)據(jù)庫中啟動分片(sh.enableSharding(“DBName”)
),然后再設(shè)置集合分片(sh.shardCollection(“Collection”{片鍵})
)
四. 分片管理的注意事項(常用命令)
1.檢查shards 配置及狀態(tài)
db.runCommand({listshards:1})
網(wǎng)友評論