Áp dụng Hệ thống giám sát và cảnh báo thông tin vào thực tế

Hệ thống giám sát an toàn thông tin giúp tăng khả năng hiển thị (visualization) cho hệ thống mạng và ứng dụng của bạn cũng như xác định các phạm vi hoạt động. Bằng việc triển khai một giải pháp giám sát (Monitoring) và cảnh báo (Alerting) vào các tình huống khác nhau, bạn có thể bắt đầu lên kế hoạch chiến lược theo dõi tất cả các phần quan trọng trong dịch vụ mà mình cung cấp.
Trong hướng dẫn này, chúng ta sẽ nói về các thành phần tạo nên một hệ thống giám sát và cách sử dụng chúng để thực hiện chiến lược giám sát của bạn. Chúng tôi sẽ bắt đầu bằng cách xem xét các nhiệm vụ cơ bản của một hệ thống giám sát có hiệu quả và đáng tin cậy. Sau đó, chúng ta sẽ đề cập đến cách thức mà các yếu tố của một hệ thống giám sát đáp ứng các yêu cầu chức năng này. Cuối cùng, bài viết sẽ nói về cách tốt nhất để đưa chính sách giám sát của bạn thành các hướng dẫn tổng quan và các chính sách cảnh báo cung cấp cho bạn thông tin thực sự cần thiết nhất.

Các tiêu chuẩn của hệ thống đo lường, theo dõi và cảnh báo

Trước hết, chúng ta sẽ xem xét các thành phần cốt lõi của các hệ thống này, chỉ nên xem xét các đặc điểm được coi hữu ích hoặc cần thiết.

Độc lập với hầu hết các cơ sở hạ tầng khác

Để thu thập chính xác dữ liệu và tránh ảnh hưởng tiêu cực đến hiệu suất, hầu hết các thành phần theo dõi cần sử dụng các tài nguyên riêng biệt với các ứng dụng khác.

Độ chính xác và đáng tin cậy

Vì việc theo dõi được sử dụng để đánh giá tình trạng của các hệ thống khác, điều quan trọng là đảm bảo rằng hệ thống giám sát là chính xác và sẵn có.

Dễ dàng sử dụng quan điểm tổng quan và chi tiết

Dữ liệu không được coi là hữu ích nếu nó không thể hiểu được hoặc không thể thực hiện được và phải được đưa ra trong tổng quan và thực hiện một cách chi tiết.

Chiến lược hiệu quả để duy trì dữ liệu lịch sử

Điều quan trọng là phải hiểu mô hình điển hình như thế nào để nhận ra các bất thường. Trong thời gian dài hơn, điều này có thể yêu cầu truy cập dữ liệu cũ hơn mà hệ thống của bạn phải thể truy xuất được.

Có thể tương tác các yếu tố từ các nguồn khác nhau

Hiển thị thông tin từ các phần khác nhau và triển khai một cách có tổ chức là rất quan trọng để xác định các mẫu và các yếu tố tương quan.

Dễ dàng theo dõi các số liệu hoặc cơ sở hạ tầng mới

Hệ thống giám sát của bạn phải phát triển khi ứng dụng và cơ sở hạ tầng của bạn thay đổi. Chế độ giám sát cũ hoặc không đầy đủ sẽ làm giảm độ tin cậy của công cụ và dữ liệu của bạn.

Thông báo linh hoạt và mạnh mẽ

Chức năng cảnh báo phải có khả năng gửi thông báo qua nhiều kênh và mức độ ưu tiên tùy thuộc vào điều kiện bạn xác định.
Với những hiểu biết về các thuộc tính này, chúng ta hãy xem cái gì tạo nên một hệ thống giám sát.

Các thành phần của một hệ thống giám sát

Các hệ thống giám sát bao gồm một vài thành phần và giao diện khác nhau cùng làm việc để thu thập, hình dung và báo cáo về tình trạng triển khai của bạn. Chúng tôi sẽ đề cập đến các phần cơ bản dưới đây.

Bộ phận theo dõi phân phối và các Bộ phận xuất dữ liệu

Mặc dù phần lớn hệ thống giám sát có thể được triển khai tới một máy chủ chuyên dụng hoặc nhiều máy chủ, dữ liệu cần được thu thập từ nhiều nguồn khác nhau trong cơ sở hạ tầng của bạn. Để thực hiện việc này, một bộ phận giám sát – một tác tử nhỏ được thiết kế để thu thập và chuyển tiếp dữ liệu đến điểm cuối của bộ sưu tập – được cài đặt trên từng máy cá nhân trong mạng. Các tác tử thu thập số liệu thống kê và số liệu sử dụng từ máy chủ nơi chúng được cài đặt và gửi chúng tới phần mềm theo dõi trung tâm.
Các tác tử (agent) chạy như thường lệ trên daemon chạy nền trên mỗi máy chủ trong hệ thống. Chúng có thể bao gồm một cấu hình cơ bản để xác thực an toàn với điểm cuối dữ liệu từ xa, xác định tần số dữ liệu hoặc các chính sách lấy mẫu, và đặt định danh duy nhất cho dữ liệu của máy chủ. Để giảm tác động lên các dịch vụ khác, tác tử phải sử dụng các nguồn lực tối thiểu và có thể hoạt động với ít hoặc không cần quản lý. Lý tưởng nhất là nên cài đặt một tác tử trên một nút mới (node) và bắt đầu gửi các số liệu đến hệ thống giám sát trung tâm.
Các tác tử giám sát thường thu thập các số liệu chung, số liệu máy chủ lưu trữ, nhưng các tác tử để theo dõi phần mềm khác như máy chủ web hoặc cơ sở dữ liệu cũng luôn có sẵn. Tuy nhiên, đối với hầu hết các loại phần mềm chuyên biệt, số liệu sẽ phải được thu thập và trích xuất bằng cách tự sửa đổi phần mềm, hoặc xây dựng tác tử của riêng bạn bằng cách tạo ra một dịch vụ phân tích các điểm cuối hoặc điểm đầu ra của phần mềm. Nhiều giải pháp giám sát phổ biến có sẵn thư viện để dễ dàng để thêm thiết bị tùy chỉnh cho các dịch vụ của bạn. Cũng giống như với phần mềm tác tử, bạn phải đảm bảo rằng các giải pháp tùy chỉnh sẽ ít tác động tới hiệu suất của các ứng dụng.
Cho đến nay, chúng tôi đã đưa ra một số giả định về một kiến ​​trúc dựa trên cơ chế đẩy để theo dõi, trong đó các tác tử sẽ đẩy dữ liệu đến vị trí trung tâm. Tuy nhiên, thiết kế theo cơ chế kéo cũng có sẵn. Trong các hệ thống theo dõi kéo, các máy chủ cá nhân có trách nhiệm thu thập, tập hợp các số liệu theo một định dạng đã biết ở điểm cuối có thể truy cập và sử dụng được. Máy chủ giám sát thăm dò và thu thập dữ liệu điểm cuối trên mỗi máy chủ. Phần mềm thu thập và trình bày dữ liệu thông qua điểm cuối có nhiều yêu cầu giống như một tác tử nhưng thường đòi hỏi cấu hình ít hơn vì không cần phải biết cách truy cập vào các máy khác.

Số liệu đầu vào

Một trong những bộ phận liên tục bận rộn nhất của một hệ thống giám sát là phần số liệu đầu vào. Vì số liệu liên tục được tạo ra nên quy trình thu thập Số liệu cần phải đủ mạnh để xử lý khối lượng lớn hoạt động và phối hợp với lớp lưu trữ để ghi lại Số liệu đến.
Đối với các hệ thống dựa trên cơ chế đẩy, điểm cuối truy nhập Số liệu là một vị trí trung tâm trên mạng, nơi mà mỗi công cụ giám sát hoặc tập hợp thống kê sẽ gửi Số liệu đã được thu thập. Điểm cuối có thể xác thực và nhận Số liệu từ một số lượng lớn các máy chủ cùng một lúc. Các điểm cuối Đầu vào cho các hệ thống Số liệu thường cân bằng tải hoặc phân phối đảm bảo yêu cầu về độ tin cậy và để đạt được lưu lượng cao.
Đối với các hệ thống dựa trên cơ chế kéo, thành phần tương ứng là cơ chế lựa chọn để đưa ra và phân tích các Số liệu điểm cuối trên từng máy chủ. Điều này có một số yêu cầu tương tự, nhưng một số trách nhiệm thì ngược lại. Ví dụ: nếu các máy chủ cá nhân thực hiện chứng thực, quy trình thu thập số liệu phải có thể cung cấp các thông tin chính xác để đăng nhập và truy cập vào điểm cuối bảo mật.

Lớp quản lý thông tin

Lớp quản lý dữ liệu chịu trách nhiệm tổ chức và ghi thông tin đến từ thành phần truy vấn số liệu và trả lời các truy vấn và yêu cầu thông tin từ các lớp quản lý. Dữ liệu chỉ số thường được ghi lại ở định dạng được gọi là chuỗi thời gian biểu diễn sự thay đổi về giá trị theo thời gian. Hệ thống giám sát thường sử dụng các cơ sở dữ liệu dạng chuỗi thời gian – cơ sở dữ liệu chuyên về lưu trữ và truy vấn loại dữ liệu này.
Trách nhiệm chính của lớp quản lý dữ liệu là lưu trữ dữ liệu đến khi nó nhận được hoặc thu thập từ máy chủ. Ít nhất, lớp lưu trữ phải ghi lại số liệu đang được báo cáo, giá trị được quan sát, thời gian giá trị được tạo ra, và máy chủ đã tạo ra nó.
Đối với sự tồn tại lâu dài trong thời gian dài, lớp lưu trữ cần cung cấp cách để xuất dữ liệu khi bộ sưu tập vượt quá các giới hạn địa phương để xử lý, bộ nhớ hoặc lưu trữ. Do đó, lớp lưu trữ cũng cần để có thể nhập dữ liệu hàng loạt để nhập dữ liệu lịch sử vào hệ thống khi cần thiết.
Lớp quản lý dữ liệu cũng cần cung cấp truy cập có tổ chức vào các thông tin lưu trữ. Đối với các hệ thống sử dụng cơ sở dữ liệu chuỗi thời gian, chức năng này được cung cấp bởi các truy vấn ngôn ngữ hoặc API được xây dựng sẵn. Chúng có thể được sử dụng để truy vấn và thăm dò dữ liệu tương tác, nhưng về cơ bản thì chúng sẽ được dùng làm dữ liệu cho bảng điều khiển trình diễn dữ liệu và hệ thống cảnh báo.

Hình ảnh và Bảng điều khiển lớp

Được xây dựng bên trên lớp quản lý dữ liệu là các giao diện mà bạn cần tương tác để hiểu các dữ liệu đang được thu thập. Do số liệu là dữ liệu chuỗi thời gian nên dữ liệu được biểu thị tốt nhất dưới dạng đồ thị có thời gian trên trục x. Bằng cách này, bạn có thể dễ dàng hiểu được giá trị thay đổi theo thời gian như thế nào. Các số liệu có thể được hình dung qua các khoảng thời gian khác nhau để hiểu xu hướng trong thời gian dài cũng như những thay đổi gần đây có thể ảnh hưởng đến hệ thống hiện tại của bạn.
Các lớp hiển thị và quản lý dữ liệu đều liên quan đến việc đảm bảo rằng dữ liệu từ các máy khác nhau hoặc từ các phần khác nhau của chồng ứng dụng (application stack) của bạn có thể được xem xát và so sánh một cách toàn diện. May mắn thay, dữ liệu chuỗi thời gian cung cấp một quy mô nhất quán giúp xác định các sự kiện hoặc thay đổi diễn ra đồng thời, ngay cả khi tác động được lan truyền qua các loại cơ sở hạ tầng khác nhau. Có thể chọn dữ liệu để lớp phủ tương tác cho phép các nhà khai thác xây dựng các hình ảnh hữu ích nhất cho các nhiệm vụ trong bất cứ khi nào.
Các đồ thị và dữ liệu hay sử dụng sẽ được sắp xếp thành các thông tin tổng quan. Những thông tin này rất hữu ích trong một số ngữ cảnh, điều này còn giúp hiển thị liên tục các chỉ số về tình trạng hiện tại của hệ thống trên màn hình, hoặc là cổng tiêu điểm để khắc phục sự cố hoặc đi sâu vào các khu vực cụ thể của hệ thống. Ví dụ, một bảng điều khiển với bảng phân tích chi tiết về dung lượng lưu trữ vật lý trong toàn bộ nhóm có thể rất quan trọng khi lập kế hoạch năng lực, nhưng bạn cũng có thể không cần thiết phải tham khảo cho việc quản lý hàng ngày. Việc xây dựng cả bảng điều khiển tổng quát và chi tiết có thể giúp làm cho dữ liệu của bạn dễ tiếp cận hơn và có thể thực hiện được.

Chức năng Cảnh báo và Ngưỡng ngăn chặn

Mặc dù các biểu đồ và bảng điều khiển sẽ là các công cụ để hiểu dữ liệu trong hệ thống của bạn, chúng chỉ hữu ích trong ngữ cảnh mà một người điều khiển đang xem trang. Một trong những trách nhiệm quan trọng nhất của một hệ thống giám sát là giảm bớt các thành viên trong đội khỏi việc phải theo dõi các hệ thống của bạn để họ có thể theo đuổi các hoạt động có giá trị hơn. Để điều này khả thi, hệ thống phải có khả năng tập trung sự chú ý của bạn khi cần thiết để bạn có thể tự tin rằng bạn sẽ được thông báo về những thay đổi quan trọng. Hệ thống giám sát sử dụng ngưỡng số liệu do người dùng xác định và hệ thống cảnh báo để thực hiện việc này.
Mục tiêu của hệ thống cảnh báo là phải thông báo chính xác cho các nhà khai thác khi dữ liệu có một sự thay đổi quan trọng và trong các trường hợp khác thì không cần để mắt tới hệ thống. Vì vậy, hệ thống phải biết những gì bạn cho quan trọng, bạn phải xác định tiêu chí cảnh báo của bạn. Định nghĩa cảnh báo bao gồm một phương pháp thông báo và ngưỡng số liệu mà hệ thống đánh giá liên tục dựa trên dữ liệu đến. Ngưỡng này thường xác định giá trị trung bình tối đa hoặc nhỏ nhất cho chỉ số trong một khung thời gian được chỉ định trong khi phương pháp thông báo sẽ mô tả cách gửi thông báo.
Một trong những phần khó khăn nhất của cảnh báo là tìm ra sự cân bằng cho phép bạn phản ứng lại với các vấn đề xảy ra mà không bị cảnh báo quá mức. Để thực hiện việc này, bạn cần phải hiểu được số liệu nào là dấu hiệu tốt nhất của các vấn đề thực tế, những vấn đề nào cần được chú ý ngay lập tức, và những phương pháp thông báo nào phù hợp nhất cho các kịch bản khác nhau. Để hỗ trợ việc này, ngôn ngữ định nghĩa ngưỡng phải đủ mạnh để mô tả đầy đủ các tiêu chí của bạn. Tương tự, thành phần thông báo phải đưa ra các phương pháp liên lạc phù hợp với các mức độ nghiêm trọng khác nhau.

Giám sát Hộp đen và Giám sát Hộp trắng

Bây giờ, chúng ta đã mô tả cách các phần khác nhau của hệ thống giám sát góp phần cải thiện khả năng hiển thị. Tiếp theo, chúng ta có thể nói về một số cách bạn có thể xác định ngưỡng và cảnh báo để phục vụ tốt nhất nhóm của bạn. Chúng ta sẽ bắt đầu bằng cách thảo luận về sự khác biệt giữa giám sát hộp đen và hộp trắng.
Giám sát hộp đen và hộp trắng mô tả các mô hình khác nhau để theo dõi. Chúng không loại trừ lẫn nhau, vì vậy thường các hệ thống sử dụng hỗn hợp cả hai loại để tận dụng ưu thế độc nhất của chúng.

Giám sát hộp đen mô tả một định nghĩa hoặc đồ thị cảnh báo chỉ dựa trên các yếu tố nhìn thấy bên ngoài. Phong cách giám sát này đưa ra nhìn nhận bên ngoài để duy trì sự tập trung vào hành vi công khai của ứng dụng hoặc dịch vụ. Tuy không có kiến ​​thức đặc biệt nào về tình trạng của các thành phần cơ bản, giám sát hộp đen sẽ cung cấp cho bạn dữ liệu về tính năng của hệ thống từ quan điểm của người dùng. Mặc dù quan điểm này có vẻ như hạn chế nhưng thông tin này lại gắn liền với các vấn đề đang ảnh hưởng đến khách hàng, vì vậy chúng là những ứng cử viên tốt cho các yếu tố cảnh báo.
Một kiểu giám sát khác, giám sát hộp trắng, cũng rất hữu ích. Giám sát hộp trắng mô tả bất kỳ giám sát nào dựa trên các thông tin bên trong, đặc biệt về cơ sở hạ tầng của bạn. Bởi vì số lượng các quy trình nội bộ vượt quá hành vi nhìn thấy bên ngoài, có thể bạn sẽ có tỷ lệ dữ liệu hộp trắng cao hơn nhiều. Và vì nó hoạt động với các thông tin toàn diện hơn về hệ thống của bạn, nên giám sát hộp trắng có cơ hội để tiên đoán. Chẳng hạn, bằng cách theo dõi các thay đổi về sử dụng tài nguyên, nó có thể thông báo cho bạn khi nào bạn cần phải mở rộng các dịch vụ nhất định để đáp ứng nhu cầu mới.
Hộp đen và hộp trắng chỉ đơn thuần là cách phân loại các loại quan điểm khác nhau về hệ thống của bạn. Quyền truy cập vào dữ liệu hộp trắng, nơi mà các phần bên trong hệ thống của bạn có thể nhìn thấy được, sẽ hữu ích trong việc điều tra các vấn đề, đánh giá nguyên nhân gốc rễ và tìm ra các yếu tố tương quan khi vấn đề được biết đến hoặc cho các mục đích quản trị thông thường. Mặt khác, giám sát hộp đen giúp phát hiện nhanh các vấn đề nghiêm trọng bằng cách ngay lập tức chứng minh ảnh hưởng của nó lên người dùng.
Đọc tiếp phần 2 tại: https://vn.cystack.net/ap-dung-giam-sat-monitoring-va-canh-bao-alerting-vao-thuc-tien-p2/