本篇文章1332字,讀完約3分鐘

阿里云國際站經(jīng)銷商,主營阿里云,騰訊云,華為云,亞馬遜aws,谷歌云gcp,微軟云az,免費(fèi)開戶,代充值優(yōu)惠大,聯(lián)系客服飛機(jī)@jkkddd

通過DataWorks將HBase數(shù)據(jù)同步到Elasticsearch

步驟一:環(huán)境準(zhǔn)備
創(chuàng)建阿里云Elasticsearch實(shí)例,并開啟實(shí)例的自動(dòng)創(chuàng)建索引功能。
具體操作,請(qǐng)參見創(chuàng)建阿里云Elasticsearch實(shí)例和配置YML參數(shù)。本文以通用商業(yè)版實(shí)例為例。
創(chuàng)建DataWorks工作空間。
創(chuàng)建工作空間時(shí),所選地域需要與阿里云Elasticsearch一致。具體操作,請(qǐng)參見創(chuàng)建工作空間。
創(chuàng)建HBase集群并準(zhǔn)備測(cè)試數(shù)據(jù)。
創(chuàng)建HBase集群時(shí),所選地域、專有網(wǎng)絡(luò)和虛擬交換機(jī)要與阿里云Elasticsearch保持一致。本文以創(chuàng)建標(biāo)準(zhǔn)版HBase集群為例,具體操作,請(qǐng)參見購買集群。
測(cè)試數(shù)據(jù)
使用put命令向數(shù)據(jù)表中插入數(shù)據(jù),例如:put "student", "row1", "name:a", "xiaoming"。
使用scan命令查看表中的數(shù)據(jù),例如:scan "student"。
步驟二:購買并創(chuàng)建DataWorks獨(dú)享資源組
區(qū)間
登錄DataWorks控制臺(tái)。
選擇相應(yīng)地域后,在左側(cè)導(dǎo)航欄,單擊資源組列表。
購買獨(dú)享數(shù)據(jù)集成資源。
創(chuàng)建一個(gè)獨(dú)享數(shù)據(jù)集成資源。
具體操作,請(qǐng)參見新增和使用獨(dú)享數(shù)據(jù)集成資源組。本文使用的配置如下,其中資源組類型選擇獨(dú)享數(shù)據(jù)集成資源組
單擊已創(chuàng)建的獨(dú)享資源組右側(cè)的網(wǎng)絡(luò)設(shè)置,參見綁定專有網(wǎng)絡(luò),為該獨(dú)享資源組綁定專有網(wǎng)絡(luò)。
獨(dú)享資源部署在DataWorks托管的專有網(wǎng)絡(luò)中。DataWorks需要與HBase集群和Elasticsearch實(shí)例的專有網(wǎng)絡(luò)連通才能同步數(shù)據(jù)。而HBase集群和Elasticsearch實(shí)例在同一專有網(wǎng)絡(luò)下,因此在綁定專有網(wǎng)絡(luò)時(shí),選擇Elasticsearch實(shí)例所在專有網(wǎng)絡(luò)和交換機(jī)即可。
單擊已創(chuàng)建的獨(dú)享資源組右側(cè)的修改歸屬工作空間,為該獨(dú)享資源組綁定目標(biāo)工作空間。
具體操作,請(qǐng)參見新增和使用獨(dú)享數(shù)據(jù)集成資源組。
步驟三:配置HBase白名單
無論是公網(wǎng)訪問,還是VPC內(nèi)網(wǎng)訪問,均需要先將訪問HBase的客戶端IP地址加入到白名單中,才能連接到HBase集群。本文需要使用步驟一中創(chuàng)建的獨(dú)享資源組,通過VPC內(nèi)網(wǎng)訪問HBase集群,因此在添加數(shù)據(jù)源前,需要將獨(dú)享資源組綁定的交換機(jī)網(wǎng)段添加至HBase的訪問白名單中,具體操作請(qǐng)參見設(shè)置白名單和安全組。
步驟四:在DataWorks中添加HBase和Elasticsearch數(shù)據(jù)源
進(jìn)入DataWorks的數(shù)據(jù)集成頁面。
在DataWorks控制臺(tái)的左側(cè)導(dǎo)航欄,單擊工作空間列表。
找到目標(biāo)工作空間,單擊其右側(cè)操作列下的數(shù)據(jù)集成。
在左側(cè)導(dǎo)航欄,單擊數(shù)據(jù)源。
在數(shù)據(jù)源管理頁面,單擊新增數(shù)據(jù)源。
在新增數(shù)據(jù)源對(duì)話框的大數(shù)據(jù)存儲(chǔ)區(qū)域中,單擊HBase。
在新增HBase數(shù)據(jù)源對(duì)話框中,填寫數(shù)據(jù)源名稱和配置信息。
使用的HBase版本不同,您需要填寫不同的配置信息:
標(biāo)準(zhǔn)版及以下的版本:使用默認(rèn)的配置信息,即ZK鏈接地址,同時(shí)需要手動(dòng)增加hbaseVersion屬性。

標(biāo)題:阿里云服務(wù)器購買,阿里云國際賬號(hào)免費(fèi)注冊(cè)

地址:http://0bc8wa.cn/kfxw/64139.html