我們從客戶那里聽到的一些最常見的挑戰(zhàn)對你們中的一些人來說可能太熟悉了。IT 領域的事物總是在迅速變化，而且只會加快速度。DevOps、以云為中心的架構和軟件定義網(wǎng)絡的爆炸式增長使得讓監(jiān)控和管理工具與環(huán)境保持同步變得越來越困難。

這導致了另一個問題——管理層和個別團隊缺乏對整個環(huán)境的可見性。大多數(shù)現(xiàn)有的企業(yè)網(wǎng)絡管理工具在適應大多數(shù)組織中正在成為常規(guī)的快速變化和部署方面都很慢。

我們發(fā)現(xiàn)這通常是因為當管理困難且勞動密集型時，可見性會受到影響。如果需要手動過程來將監(jiān)控添加到新系統(tǒng)中，那么它就永遠無法保持最新??狀態(tài)。

通常，整個組織缺乏最新的視圖會導致團隊實施他們自己的單點解決方案，而且你處理的工具越多，它們就越有可能相互矛盾，更不用說增加了管理和培訓負擔，以及這可能導致的通信問題。

幸運的是，這些挑戰(zhàn)中的大多數(shù)都可以通過相同的方式解決——自動化。我們需要一種方法來跟上快速和動態(tài)變化的環(huán)境，同時保持可見性、避免盲點并保持我們的 SLA。同時不會產(chǎn)生沒有人有時間的額外管理開銷。

自動化是我們在多年來一直在使用的東西，我們將自動化成熟度定義為 4 個主要階段：

發(fā)現(xiàn)、監(jiān)控、響應和人工智能或 AIOps。在過去 20 年的發(fā)展中，我們的平臺已經(jīng)發(fā)展到可以完成所有這些工作。讓我們看一下它們中的每一個，您就可以開始了解您的組織今天可能在哪里，以及下一步可能是什么。

第一步：發(fā)現(xiàn)自動化

自動化的第一階段是發(fā)現(xiàn)自動化。現(xiàn)在，這項技術一直以其最基本的形式存在。我們可能都使用過執(zhí)行 ping 掃描或端口掃描的工具來查找網(wǎng)絡上的設備。該技術在許多環(huán)境中仍然有意義，但它不再是全部答案。

如今，自動發(fā)現(xiàn)發(fā)生了很大變化。有很多東西是您無法可靠掃描的——孤立的虛擬系統(tǒng)、DMZ、云系統(tǒng)和微服務，僅舉幾例。現(xiàn)代系統(tǒng)利用 API 集成的力量使自動發(fā)現(xiàn)更快、更可靠、更完整，而不會產(chǎn)生網(wǎng)絡流量問題。

例如，我們利用這些 API 直接從 ServiceNow CMDB、vCenter、Azure 和 AWS 等系統(tǒng)以及 SD-WAN 編排器中學習。我們提供入站 API 調用，允許用戶將我們的系統(tǒng)與 Puppet/Chef 等現(xiàn)有工作流程鏈接，或輕松創(chuàng)建額外的自定義集成，而無需依賴昂貴的顧問。

第二步：監(jiān)控自動化

下一階段是監(jiān)控自動化。這是添加新設備進行監(jiān)控并正確配置它們的地方，不再需要手動干預。對于我們與之交談的許多組織來說，他們甚至還沒有真正走到這一步。造成這種情況的原因有幾個，但最常見的原因之一是該領域的許多監(jiān)控平臺出人意料地不發(fā)達，而且內部開發(fā)資源稀缺且昂貴，如果它們存在的話。

為了有效地達到這一階段，管理平臺必須不僅能夠在操作系統(tǒng)級別識別新系統(tǒng)，而且還能夠檢測諸如哪些服務或應用程序正在其上運行，以便就您需要監(jiān)控的內容做出正確的決定在那個系統(tǒng)上。

例如，將 SQL 服務器作為 VM 啟動應該能夠監(jiān)視操作系統(tǒng)、虛擬化堆棧、SQL 應用程序本身、適當?shù)氖录罩颈O(jiān)視器、當它出現(xiàn)問題時向誰發(fā)出警報——這可能會因 SQL 問題而有所不同與操作系統(tǒng)問題相比——以及需要觀察什么樣的性能指標和統(tǒng)計數(shù)據(jù)。它還必須包括將其放入正確的類別、站點和業(yè)務工作流程（驅動報告的分組）中，以便新部署的系統(tǒng)始終顯示在正確的報告中，并且不會漏掉任何東西。

第三階段：自動響應事件

第三階段是響應自動化。這使您的管理平臺能夠在您的 NOC 或工程師必須做任何事情之前采取獨立行動來修復問題。為了以這種方式有效地自動響應，我們必須允許基于一天中的時間或一周中的某天等不同的操作 - 例如，如果您希望在工作時間做出不同的響應。它還應該允許依賴關系——例如，如果有其他服務器運行相同的應用程序同時出現(xiàn)問題，則采取不同的措施。

當然，應該有跨平臺的能力——無論是路由器、Windows、Linux、交換機還是云托管提供商。這需要與這些設備進行不同的交互方法，因為有些需要 JSON API 調用，而另一些可能需要 SSH、powershell 甚至 telnet。

現(xiàn)在，這可能是一大步，一些組織會堅持要求操作員干預，至少要在采取行動之前批準行動——所謂的“點擊重啟”按鈕。這對于采取激烈的行動是一個好主意，但它也讓組織在完全自動化響應行動之前熟悉這個過程并驗證他們的配置。無論哪種方式，我們的平臺都支持這樣做。

新領域：基于人工智能的自動化

最后階段是基于人工智能的系統(tǒng)。如果您認為最后一步很重要，那么這遠遠不止于此。雖然圍繞人工智能的確切構成顯然有很多不同的定義，但我們在這里使用該術語來定義可以做出自主決策的系統(tǒng)。這通常被稱為“AIOps”，它實際上只是將 AI 技術應用于您的常規(guī)操作。

例如，系統(tǒng)可以查看從您的監(jiān)控平臺發(fā)出的警報，并檢測到某種警報發(fā)生過于頻繁并且可能是誤報，然后抑制這些警報，或者修改您的設置以阻止它們正在發(fā)生。或者它可能會注意到特定日志消息與后來的應用程序故障之間的相關性，并自動重新啟動一些服務以修復問題，因為上次發(fā)生應用程序故障時這種方法有效。

理想情況下，人工智能管理系統(tǒng)將建立這些聯(lián)系，并可能根據(jù)了解您的環(huán)境以及其他客戶遇到的最佳實踐和場景采取行動。能夠決定允許哪些操作完全自主發(fā)生以及哪些操作需要操作員干預至關重要，尤其是在剛開始時。

人工智能最大的潛在缺點是它驅動了非常高的資源需求，通常超出了您自己提供的實際能力。這通常意味著您需要一些云托管資源來提供幫助，以便對進入系統(tǒng)的所有數(shù)據(jù)進行分類，這將驅動連接依賴以實現(xiàn)完整功能。

關鍵 #1：利用現(xiàn)有系統(tǒng)

因此，自動化 IT 管理的第一個關鍵是確保我們充分利用發(fā)現(xiàn)和監(jiān)控自動化。顯然，這里的第一步是使用我們的自動發(fā)現(xiàn)工具來確保在配置新設備時將其添加到監(jiān)控中。

識別設備后，我們需要確保對它們進行全面的監(jiān)控自動化，因此我們要確保識別出我們需要在這些系統(tǒng)上監(jiān)控的所有不同應用程序或服務。

我們的平臺使用基于級聯(lián)模板的配置系統(tǒng)，這使得這變得更加容易。使用級聯(lián)模板，我們可以將多個模板適當?shù)貞糜谠O備或應用程序。

我們的自動發(fā)現(xiàn)方法采用三個并行路徑，因此不會遺漏任何東西。當然，我們有可配置的子網(wǎng)掃描，因此我們可以在配置新系統(tǒng)時快速識別它們。這是大多數(shù)工具使用的傳統(tǒng)方法。

但是，我們還希望利用其他發(fā)現(xiàn)方法來提供更快或更詳細的信息，因此我們實現(xiàn)了與多個供應商平臺的 API 連接，以便能夠在您將新的 Meraki 邊緣路由器上線時找到它們，或者快速開始監(jiān)控新的AWS 實例或新虛擬機。

我們還提供用于系統(tǒng)配置的開放入站 API，因此如果您使用 Puppet、Ansible 等部署自動化工具，甚至只是 python 腳本，您可以將監(jiān)控鏈接到該過程。

通過同時使用這三種方法，我們可以確保沒有遺漏任何東西，即使事情正在迅速或動態(tài)地變化，即使有人沒有按照他們應有的方式準確地遵循部署過程清單。

為了讓這個進入下一階段，我們真的需要獲取發(fā)現(xiàn)的設備數(shù)據(jù)并確保它得到完全配置。如果檢測到新系統(tǒng)并將其添加到監(jiān)控中，這很有用，但如果我們沒有同時監(jiān)視關鍵應用程序和服務，或者如果我們沒有在出現(xiàn)問題時自動向正確的團隊發(fā)送通知，那么它就無法獲得完全的可見性工作不正常。

我們解決這個問題的方法是使用我們稱為“自動配置”的功能。自動配置附帶一組規(guī)則來幫助您入門，并且可以輕松自定義或創(chuàng)建它們以適應您的環(huán)境。您可以使用它們來設置設備屬性，例如基于任何設備標準的類別、站點和業(yè)務工作流——包括諸如正在運行的進程、打開的端口、設備的名稱，甚至是 SNMP 值。這可以確保沒有手動配置過程來確保設備最終出現(xiàn)在正確的報告中，并且它們始終應用正確的設置。

這些會在設備被發(fā)現(xiàn)時自動應用到設備，無論使用什么方法添加它們或它們在什么平臺上運行，也可以自動重新應用，或者根據(jù)需要重新應用，所以如果你想確保一切都按照您想要的方式進行配置，您可以強制執(zhí)行。

但是為了關閉自動化循環(huán)，一旦應用了屬性，我們的平臺就會動態(tài)地將所有相關模板應用到您的設備上。這可確保在無需手動干預的情況下應用您需要應用于新設備的所有設置。

因此，例如，一個新的 SQL 服務器上線不僅會獲得您想要的基本 Windows 服務器設置，還會獲得特定于 SQL 的應用程序檢查和設置，并且只要它出現(xiàn)問題，SQL 團隊就會收到警報. 我們還可以預先定義要查找和報告的事件日志，并設置我們想要觀察的性能指標。

您可以使用模板來定義身份驗證、升級、日志記錄警報、配置規(guī)則、主動響應自動化操作等。它的設計足夠靈活，可以滿足全球企業(yè)客戶的需求，同時對于小型 IT 部門來說仍然足夠簡單，無需大量培訓或專職人員即可使用。

關鍵 #2：自動化您的響應

既然我們已經(jīng)自動化了配置新監(jiān)控的過程，那么自動化監(jiān)控的下一個級別包括自動化您的響應。這允許您通過在設備上自動執(zhí)行命令或向您的應用程序或云提供商發(fā)送 API 調用來在發(fā)生故障甚至異常時采取適當?shù)拇胧?/p>

您可以鏈接 SSH 或 powershell 等 CLI 命令，或使用 Web 掛鉤等 API，以便您的監(jiān)控系統(tǒng)可以重新啟動端口、部署其他容器、重新測試應用程序，甚至轉儲實時診斷以響應事件。

有些人對自動執(zhí)行命令感到不舒服，因此如果您愿意，我們的平臺允許您通過操作員干預手動控制這些命令。這樣，如果您想將“單擊以重新啟動服務器”功能直接添加到監(jiān)控系統(tǒng)的 Web 界面中，并將訪問權限限制為管理員，那么有一種簡單的方法可以做到這一點。

一位客戶甚至將系統(tǒng)設置為在下班后自動重啟服務器，但只在工作時間通知 NOC，以便他們可以在有空時做出決定。

要記住的一個重要事項是，如果您要自動響應，維護窗口就變得非常重要。否則，計劃的軟件升級可能不會如您預期的那樣進行，因為您的監(jiān)控系統(tǒng)開始在后臺采取行動。沒有什么比暫停應用程序服務以進行部署并讓服務器突然重新啟動更令人沮喪的了。不過，我們讓這一切變得簡單——您可以通過 Web 界面、移動應用程序甚至 API 創(chuàng)建維護窗口，將其直接綁定到您的變更控制或故障單系統(tǒng)。

自動化事件響應的一個關鍵部分是使用我們所說的“事件管理”。這就是我們所指的過程，它允許平臺了解復雜或高級的依賴關系，以達到零誤報的目標。

這是一個基于規(guī)則的系統(tǒng)，可讓您輕松覆蓋配置的操作，以發(fā)送自定義警報、抑制冗余警報或自動執(zhí)行特定響應。這方面的一個例子是一個客戶，他有很多帶寬有限的遠程零售點。一旦他們檢測到站點變得擁擠，他們就會安排電路升級，但這需要 30-45 天。因此，他們制定了一條規(guī)則，攔截該站點的任何帶寬或延遲警報，并向分行經(jīng)理發(fā)送消息，讓他們知道他們知道問題，并且已經(jīng)下令升級 - 并設法將這些呼叫減少到他們的 NOC 80%。

您可以基于分組配置依賴關系——例如，如果您在站點上看到帶寬問題，您可以抑制同一位置的任何延遲警報。或者，如果您正在運行一個系統(tǒng)集群，您可以根據(jù)當時其他集群成員的狀態(tài)采取不同的操作。

為了真正利用自動響應，我們要確保我們正在消除誤報以及發(fā)現(xiàn)隱藏的問題。檢測異常行為，而不是僅僅依靠靜態(tài)警報設置，是實現(xiàn)這項工作的關鍵方法。

在我們的平臺中，您可以使用我們的異常檢測功能來發(fā)現(xiàn)應用程序行為的變化，它幾乎可以應用于任何地方——CPU、內存使用、正在運行的進程，甚至是日志消息。例如，如果您的應用程序從每小時 10 次登錄失敗變?yōu)?1000 次，那么最后一次部署可能沒有您預期的那么順利，現(xiàn)在您可以開始進行故障排除了。

我們將使用我們保留的大量歷史數(shù)據(jù)（通常默認為 100 天的高分辨率數(shù)據(jù)）自動生成基線行為模型，并且隨著您的環(huán)境動態(tài)變化和演變，我們將自動調整基線。可以根據(jù)觀察一天中的某個時間、一周中的某天甚至每小時的基線行為的變化來檢測異常情況。

這使您可以發(fā)現(xiàn)意外影響，例如導致后端 SQL 服務器上 CPU 出現(xiàn)異常行為的軟件更改。我們的一位客戶發(fā)現(xiàn)了一個問題，通常在周三上午 10 點，數(shù)據(jù)庫服務器運行在 50-60%，但突然以 15% 運行。事實證明，前一天晚上推送到 UI 的更改將測試 API 密鑰放入應用程序而不是生產(chǎn)密鑰，客戶無法完成他們的訂單。這種異常是一種不尋常的行為，永遠不會觸發(fā)基于靜態(tài)閾值的警報，但在這種情況下，早在他們注意到可能導致的訂單急劇下降之前就發(fā)現(xiàn)了一個問題。

關鍵#3：利用人工智能

即使在發(fā)現(xiàn)要監(jiān)控的新事物的過程自動化，并自動化設置所有監(jiān)控的過程之后，我們仍然需要定期檢查環(huán)境中發(fā)生的事情，調整以減少誤報，并優(yōu)化我們的運動配置。因此，為了達到自動化成熟度的第四階段，現(xiàn)在我們將利用人工智能和機器學習的力量來幫助我們保持環(huán)境的運行和監(jiān)控。

第一階段是我們稱為 AI Autopilot 的自動管理工具，我們使用 AI 工具來評估我們的系統(tǒng)配置方式、我們使用的性能指標和閾值，并分析它們在我們的環(huán)境中的執(zhí)行情況。本質上，人工智能正在為我們查看報告，因此它可以提出建議或更改。

AI Autopilot 系統(tǒng)可以自動識別常見的配置問題或集成問題，例如查找身份驗證憑據(jù)已更改且監(jiān)控系統(tǒng)未更新的系統(tǒng)，并找到正確的系統(tǒng)并自動應用它們——因此我們不會錯過任何性能數(shù)據(jù)或警報。它還可以查看其他客戶正在做什么并制定最佳實踐建議，指出可能配置異常的事情或存在更優(yōu)化的監(jiān)控方式的地方，然后它可以提供建議，以便管理員可以應用它們單擊一下，甚至自動部署更改。

由于這是完全自動化的，因此只需將其打開，并決定您是否希望它在進行更改之前請求批準。AI Autopilot 會檢查所有不同系統(tǒng)元素的配置，然后查找它可以優(yōu)化的東西、配置錯誤或未正確集成的東西，或者以與最佳實踐相反的方式配置的東西，然后提供報告和建議，包括手動批準過程（如果需要），然后自動將批準的更改應用于平臺內的各種配置。

這有效地減少了培訓和管理負擔，并確保該工具可以為您的環(huán)境保持最佳配置，而無需大量時間投資。建議和最佳實踐會從云端不斷更新，以確保當我們的客戶找到新的、更有效的做事方式或行業(yè)標準發(fā)生變化時，您的平臺可以持續(xù)保持最新狀態(tài)。

人工智能開發(fā)的下一階段包括無需詢問即可生成自動報告的能力。因此，例如，如果系統(tǒng)檢測到存在看起來像容量問題的模式，即使您沒有安排自動運行的容量規(guī)劃報告，它也可以生成并向您發(fā)送一份說明您可能會這樣做的原因想看看那些特定的系統(tǒng)或電路。或者推薦您所在行業(yè)的其他人認為有用的報告，然后自動為您設置它們。

它還將包括優(yōu)化的主動響應，當檢測到新問題時，如果其他客戶已成功自動解決該問題，系統(tǒng)可能會根據(jù)對具有類似環(huán)境的其他客戶有效的操作向您推薦操作。

它還包括使用人工智能進行高級類型的根本原因分析和事件關聯(lián)的能力，包括預測關聯(lián)。例如，“85% 的客戶在 1 天內 10 次看到這種類型的日志消息，在 24 小時內出現(xiàn)與高內存利用率相關的服務故障”，然后提供可能防止該問題的選項，例如安排服務重啟或服務器重啟。