本篇文章1077字，讀完約3分鐘
阿里云國際站經(jīng)銷商，主營阿里云，騰訊云，華為云，亞馬遜aws，谷歌云gcp,微軟云az，免費開戶，代充值優(yōu)惠大，聯(lián)系客服飛機(jī)@jkkddd
通過ES-Hadoop將HDFS中的數(shù)據(jù)寫入Elasticsearch
操作流程準(zhǔn)備工作
創(chuàng)建同一專有網(wǎng)絡(luò)下的阿里云Elasticsearch和E-MapReduce（以下簡稱EMR）實例、開啟Elasticsearch實例的自動創(chuàng)建索引功能、準(zhǔn)備測試數(shù)據(jù)和Java環(huán)境。
步驟一：上傳ES-Hadoop JAR包至HDFS
下載ES-Hadoop安裝包，并上傳至EMR Master節(jié)點的HDFS目錄下。
步驟二：配置pom依賴
創(chuàng)建Java Maven工程，并配置pom依賴。
步驟三：編寫并運行MapReduce任務(wù)
編寫MapReduce寫數(shù)據(jù)到Elasticsearch的Java代碼，并打成Jar包上傳至EMR集群，最后運行代碼完成寫數(shù)據(jù)任務(wù)。
步驟四：驗證結(jié)果
在Elasticsearch的Kibana控制臺上，查看通過MapReduce寫入的數(shù)據(jù)。
步驟一：上傳ES-Hadoop JAR包至HDFS
下載ES-Hadoop安裝包，其版本需要與Elasticsearch實例保持一致。
本文使用elasticsearch-hadoop-6.7.0.zip。
登錄E-MapReduce控制臺，獲取Master節(jié)點的IP地址，并通過SSH登錄對應(yīng)的ECS機(jī)器。
具體操作步驟請參見登錄集群。
將已下載的elasticsearch-hadoop-6.7.0.zip上傳至Master節(jié)點，并解壓獲得elasticsearch-hadoop-6.7.0.jar。
創(chuàng)建HDFS目錄，將elasticsearch-hadoop-6.7.0.jar上傳至該目錄下。
步驟二：配置pom依賴
創(chuàng)建Java Maven工程，并將如下的pom依賴添加到Java工程的pom.xml文件中
步驟三：編寫并運行MapReduce任務(wù)
編寫示例代碼。
以下代碼會讀取HDFS上/tmp/hadoop-es目錄下的JSON文件，并將這些JSON文件中的每一行作為一個文檔寫入Elasticsearch。寫入過程由EsOutputFormat在Map階段完成。
步驟四：驗證結(jié)果
登錄對應(yīng)阿里云Elasticsearch實例的Kibana控制臺。
具體操作步驟請參見登錄Kibana控制臺。
在左側(cè)導(dǎo)航欄，單擊Dev Tools。
在Console頁簽下，執(zhí)行以下命令，查看通過MapReduce任務(wù)寫入的數(shù)據(jù)。
標(biāo)題：阿里云賬號開戶，阿里云國際代理商
地址：http://0bc8wa.cn/kfxw/64143.html
