北京2021年9月22日 /美通社/ --

眼睛大大明察秋毫
卡通小鳥(niǎo)優(yōu)雅輕巧
工具雖小但絕對(duì)能搞定大事兒
一個(gè)關(guān)注細(xì)節(jié)的“卡哇伊”啄木鳥(niǎo)形象
這就是Venus

近日，這款身材雖小卻蘊(yùn)藏大能量的智能工具傳來(lái)好消息！作為浪潮云海針對(duì)OpenStack平臺(tái)在日志存儲(chǔ)、檢索、分析等方面的需求而實(shí)力推出的日志管理項(xiàng)目，Venus以全數(shù)贊成票通過(guò)了OpenStack社區(qū)TC團(tuán)隊(duì)的審核，成為國(guó)內(nèi)貢獻(xiàn)OpenStack社區(qū)且在智能運(yùn)維領(lǐng)域的首個(gè)正式項(xiàng)目。 

貢獻(xiàn)社區(qū)的Venus究竟是什么？

概括來(lái)說(shuō)，Venus主要還是取決于大規(guī)模部署條件下，針對(duì)OpenStack平臺(tái)在日志存儲(chǔ)、檢索、分析等方面的核心需求，可以做到一站式滿(mǎn)足日志采集、清洗、索引、分析、告警、可視化、生成報(bào)告等，幫助運(yùn)維人員快速檢索問(wèn)題，掌握平臺(tái)的運(yùn)行健康度，并在未來(lái)計(jì)劃引用機(jī)器學(xué)習(xí)算法，快速定位IT故障及根因，提高運(yùn)維效率以及平臺(tái)管理的水平。

具體來(lái)說(shuō)在檢索工作上，Venus主要提供了簡(jiǎn)單易用的檢索方式，可以做到檢索一切日志數(shù)據(jù)，定位日志上下文；在分析上主要實(shí)現(xiàn)日志關(guān)聯(lián)、字段數(shù)值統(tǒng)計(jì)，提供多場(chǎng)景、多維度的可視化分析報(bào)表；告警層面則將搜索轉(zhuǎn)化為主動(dòng)告警，實(shí)現(xiàn)海量日志中錯(cuò)誤的“大海撈針”；定位是主要通過(guò)建立知識(shí)圖譜和調(diào)用的鏈?zhǔn)疥P(guān)系，結(jié)合算法實(shí)現(xiàn)故障的快速定位。

以下是基于浪潮云海自研OpenStack Dashboard（浪潮云海自研的OpenStack Dashboard已貢獻(xiàn)到木蘭社區(qū)，感興趣的小伙伴可以到社區(qū)下載集成，功能完善且操作簡(jiǎn)易。）集成Venus的兩個(gè)典型示例，可參考：

示例1：在云平臺(tái)上的虛擬機(jī)創(chuàng)建操作未成功，怎樣迅速定位到問(wèn)題呢？

a.找到創(chuàng)建操作的請(qǐng)求ID，并通過(guò)此跳轉(zhuǎn)到虛擬機(jī)創(chuàng)建調(diào)用鏈頁(yè)面。

b. 系統(tǒng)可以展示整個(gè)調(diào)用過(guò)程，做到清楚定位到整體調(diào)用鏈錯(cuò)誤日志的位置。

示例2：當(dāng)云平臺(tái)出現(xiàn)錯(cuò)誤日志時(shí)，如何將其轉(zhuǎn)化為告警來(lái)提醒運(yùn)維人員呢？

a. 運(yùn)維人員收到的日志告警信息如下：

b. 運(yùn)維人員可以進(jìn)一步成功檢索錯(cuò)誤日志的詳細(xì)信息和統(tǒng)計(jì)信息。

表現(xiàn)亮眼的Venus，整體的技術(shù)架構(gòu)如何？

浪潮云海技術(shù)研發(fā)團(tuán)隊(duì)表示，Venus以Fluented+Elasticsearch為基礎(chǔ)，深度挖掘日志數(shù)據(jù)、固化運(yùn)維的場(chǎng)景并提供認(rèn)證的通用接口，例如：

采集層：開(kāi)發(fā)了基于Fluented的采集任務(wù)，針對(duì)OpenStack、操作系統(tǒng)、平臺(tái)服務(wù)等日志開(kāi)發(fā)了讀取、過(guò)濾、格式化、發(fā)送等插件，而且用戶(hù)可以按需配置。

存儲(chǔ)層：采集并格式化后日志索引至Elasticsearch集群中，ES提供副本機(jī)制。即使在某些服務(wù)器宕機(jī)后仍能正常工作，提高數(shù)據(jù)可用性，同時(shí)存儲(chǔ)層也有Mysql作為分析結(jié)果的存儲(chǔ)。

Venus_api：api服務(wù)主要進(jìn)行簡(jiǎn)單的業(yè)務(wù)處理，提供更簡(jiǎn)潔更全面的認(rèn)證接口。將上層調(diào)用轉(zhuǎn)化為底層Elasticsearch查詢(xún)，并對(duì)查詢(xún)的多維度索引數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，同時(shí)將結(jié)果返回。

Venus_manager：內(nèi)部定時(shí)任務(wù)模塊，開(kāi)發(fā)了可配置的定時(shí)任務(wù)，包括數(shù)據(jù)清理任務(wù)、日志分析任務(wù)、日志告警任務(wù)、調(diào)用鏈分析任務(wù)等核心業(yè)務(wù)處理任務(wù)。

展現(xiàn)層：Venus已開(kāi)發(fā)Horizon插件并且提供統(tǒng)一接口對(duì)接第三方系統(tǒng)。

關(guān)于Venus的未來(lái)，期望可以如此

一直以來(lái)浪潮云海通過(guò)對(duì)開(kāi)源開(kāi)放技術(shù)的攻堅(jiān)，突破開(kāi)源版本在性能、大規(guī)模管理能力方面的瓶頸，秉承“源于開(kāi)源、饋于開(kāi)源”的理念，助力業(yè)界共同構(gòu)建開(kāi)放統(tǒng)一的智能基礎(chǔ)設(shè)施。

Venus項(xiàng)目旨在打造一個(gè)開(kāi)放的OpenStack日志管理平臺(tái)，集合廣大用戶(hù)在日志領(lǐng)域的需求和實(shí)踐，提供各場(chǎng)景日志分析并集成算法和知識(shí)圖譜實(shí)現(xiàn)故障的快速定位，構(gòu)建完備的日志運(yùn)維場(chǎng)景，所以Venus模塊會(huì)隨OpenStack的Yoga版本發(fā)布第一個(gè)正式的Release，未來(lái)的重點(diǎn)工作將會(huì)涉及：

• 開(kāi)發(fā)典型錯(cuò)誤日志告警任務(wù)，開(kāi)發(fā)關(guān)鍵詞告警任務(wù)
• 開(kāi)發(fā)Venus的Horizon展示插件，開(kāi)發(fā)至少3個(gè)日志分析頁(yè)面
• 優(yōu)化基于Kolla-ansible的部署方式和基于Devstack的部署方式
• 錯(cuò)誤場(chǎng)景模板化并且總結(jié)更多的典型錯(cuò)誤日志模式