本篇文章1825字,讀完約5分鐘

阿里云國際站經(jīng)銷商,主營阿里云,騰訊云,華為云,亞馬遜aws,谷歌云gcp,微軟云az,免費開戶,代充值優(yōu)惠大,聯(lián)系客服飛機@jkkddd


SAE日志導入Kafka最佳實踐

在Serverless應用引擎SAE(Serverless App Engine)產(chǎn)生的日志導入到消息隊列Kafka版之后,您可以將Kafka中的日志統(tǒng)一寫入阿里云Elasticsearch,便于后續(xù)的統(tǒng)一查看和處理。本文介紹通過SAE日志導入到Kafka,再從Kafka將數(shù)據(jù)寫入Elasticsearch的最佳實踐。
前提條件
購買Kafka實例,并創(chuàng)建Topic和Group供SAE應用使用。具體信息,請參見創(chuàng)建Kafka資源。
創(chuàng)建或部署SAE應用時,開通日志收集到Kafka日志服務功能。具體信息,請參見設置日志收集至Kafka。
確認是否成功采集消息到Kafka。具體信息,請參見查詢消息。
創(chuàng)建阿里云Elasticsearch實例。具體信息,請參見創(chuàng)建阿里云Elasticsearch實例。
創(chuàng)建阿里云Logstash實例。具體信息,請參見創(chuàng)建阿里云Logstash實例。
步驟一:創(chuàng)建Group
本步驟介紹如何創(chuàng)建阿里云Elasticsearch所屬的Group。
登錄消息隊列Kafka版控制臺。
在概覽頁面的資源分布區(qū)域,選擇地域。
在實例列表頁面,單擊目標實例名稱。
在左側導航欄,單擊Group 管理。
在Group 管理頁面,單擊創(chuàng)建 Group。
在創(chuàng)建 Group面板的Group ID文本框輸入Group的名稱,在描述文本框簡要描述Group,并給Group添加標簽,單擊確定。
創(chuàng)建完成后,在Group 管理頁面的列表中顯示已創(chuàng)建的Group。
步驟二:創(chuàng)建索引
本步驟介紹如何通過阿里云Elasticsearch創(chuàng)建索引,接收消息隊列Kafka版的數(shù)據(jù)。
登錄阿里云Elasticsearch控制臺。
在左側導航欄,單擊Elasticsearch實例。
進入目標實例。
在頂部菜單欄處,選擇資源組和地域。
在Elasticsearch實例中單擊目標實例ID。
在左側導航欄,選擇配置與管理 > 可視化控制。
在Kibana區(qū)域中,單擊私網(wǎng)入口或公網(wǎng)入口。
私網(wǎng)入口:開啟Kibana私網(wǎng)訪問后(默認未開啟),才會顯示。具體操作,請參見配置Kibana公網(wǎng)或私網(wǎng)訪問白名單。
在Kibana登錄頁面,輸入用戶名和密碼,單擊Log in。
參數(shù)說明如下。
用戶名:默認為elastic。您也可以創(chuàng)建自定義用戶,具體操作請參見通過Elasticsearch X-Pack角色管理實現(xiàn)用戶權限管控。
密碼:對應用戶的密碼。elastic用戶的密碼在創(chuàng)建實例時設定,如果忘記可重置。重置密碼的注意事項和操作步驟,請參見重置實例訪問密碼。
在Kibana控制臺的左側導航欄,選擇Management > Dev Tools。
執(zhí)行以下命令,創(chuàng)建索引。
步驟三:創(chuàng)建管道
本步驟介紹如何通過阿里云Logstash創(chuàng)建管道。成功部署管道后,數(shù)據(jù)將持續(xù)地從消息隊列Kafka版導入到阿里云Elasticsearch。
登錄阿里云Elasticsearch控制臺。
進入目標實例。
在頂部菜單欄處,選擇地域。
在Logstash實例中單擊目標實例ID。
在左側導航欄,單擊管道管理。
在管道列表頁面,單擊創(chuàng)建管道。
在創(chuàng)建管道任務配置向導頁面,配置相關參數(shù)。
在Config配置頁簽,配置相關參數(shù)并單擊下一步。
本文的參數(shù)配置以Kafka數(shù)據(jù)導入Elasticsearch為例。參數(shù)的更多信息,請參見通過配置文件管理管道。
管道ID:自定義。
在管道參數(shù)配置頁簽,配置相關參數(shù),單擊保存并部署。
本示例以默認配置為準,您可以按需修改。
在提示對話框,單擊確認。
步驟四:搜索數(shù)據(jù)
您可以在Kibana控制臺搜索通過管道導入阿里云Elasticsearch的數(shù)據(jù),確認數(shù)據(jù)是否導入成功。
登錄阿里云Elasticsearch控制臺。
進入目標實例。
在頂部菜單欄處,選擇資源組和地域。
在Elasticsearch實例中單擊目標實例ID。
在左側導航欄,選擇配置與管理 > 可視化控制。
在Kibana控制臺的左側導航欄,選擇Management > Dev Tools。
登錄Kibana控制臺的具體步驟,請參見創(chuàng)建索引步驟5~7。
執(zhí)行以下命令,搜索數(shù)據(jù)

標題:阿里云國際賬號24h自助充值,阿里云免實名注冊

地址:http://0bc8wa.cn/kfxw/64405.html