Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                
SlideShare a Scribd company logo

Virtual cluster thesis

•Download as PPT, PDF•
•

My thesis about Nagios and Maui

1 of 49
NGHIÊN CỨU VÀ PHÁT TRIỂN HỆ THỐNG QUẢN LÝ MÁY TÍNH CỤM ẢO GVHD : TS Thoại Nam GVPB : TS Trần Văn Hoài SVTH 1 : Nguyễn Thị Kim Tuyên SVTH 2 : Trần Xuân Hiếu
Giới thiệu Công cụ giám sát và quản lý máy tính cụm ảo Định thời ( scheduling ) công việc Kết luận
Hình : Xu hướng máy tính cụm ảo
Tận dụng tài nguyên sẵn có từ cụm máy vật lý hiện tại Dành cho các công việc vừa và nhỏ Mục đích , đối tượng sử dụng mở rộng Sử dụng phần mềm đã được dùng trên máy tính cụm vật lý , từ đó phát triển thêm Tận dụng máy tính “rảnh rỗi” ảo hóa rồi đưa vào cụm , dùng cho mục đích sử dụng khác
Xây dựng một hệ quản lý cụm máy ảo  Các vấn đề cần quan tâm Giám sát và thay đổi linh hoạt số lượng máy ảo Tận dụng tối đa hiệu năng hệ thống .
Vấn đề 1 : Công cụ giám sát Nagios Phát triển thêm phần công cụ quản lý node máy ảo Vấn đề 2 : Công cụ scheduling Maui Cấu hình thực nghiệm , kết quả
Virtual cluster thesis
Máy tính cụm ảo sử dụng các máy ảo trên tài nguyên vật lý sẵn có. Hình : Máy tính cụm ảo đơn giản
Hệ thống bao gồm 3 phần chính : Cluster tool : công cụ triển khai và quản lý các máy ảo. (sử dụng Pbs Torque) . Monitoring tool : công cụ giám sát các node trong hệ thống.(sử dụng Nagios) Scheduler tool : định thời thực thi các công việc.(sử dụng Maui)
Hình : Thiết kế hệ thống
Một máy được sử dụng làm máy “server”. Các node thực thi job. file kết quả tự động gửi về cho user submit job.
Cài đặt các queue trên máy “server”. Maui sẽ định thời thực thi các công việc trong các queue này.
pbs_mom trên mỗi node. Cấu hình Nagios-plugin và NRPE trên mỗi node hỗ trợ việc monitoring.
Nagios giao tiếp với người dùng qua giao diện web. Nagios thực hiện việc giám sát thông qua hệ thống file script viết theo ngôn ngữ bash shell.
Nagios hỗ trợ monitoring các service CPU, Processes, Disk, User current trên mỗi node. Thêm vào monitoring queue chứa các job cho máy server. Và monitoring status pbs_mom trên mỗi node.
Nagios sử dụng hệ thống file .cfg để cấu hình các thuộc tính. Thêm vào 3 file : host.cfg, group.cfg và service.cfg để định nghĩa các node, group và service cho group. Các máy node ở cùng trên một máy vật lý sẽ được định nghĩa cùng một group.
Trên giao diện web của Nagios, thêm vào 3 link lần lượt để định nghĩa node, group và service cho group. Các thông tin sẽ được ghi xuống tương ứng với 3 file mới thêm vào.
Hình : Giao diện NAGIOS – hiện thực
Hình : Thao tác người quản trị
Hình : Giao diện NAGIOS – Host group
Hình : Giao diện NAGIOS - host
Hình : Giao diện NAGIOS-Define host
Hình : Giao diện NAGIOS – Define host group
Hình : Giao diện NAGIOS – Define Service
Virtual cluster thesis
Hình : Kiến trúc Maui
Hình : Maui ở chế độ bình thường và ở chế độ giả lập (Simulator)
4 bước : Cấu hình chính sách Phân tích workload Thiết lập Maui Simulator - Phân tích kết quả . Từ đó đưa ra tinh chỉnh cần thiết
Resource : 120 node Linux đồng nhất . Cấu hình máy : 2 CPU 1.667 GHz 1024 MB Job : - Workload thu được từ log của Maui Scheduler trong thời gian 4 năm ( 7/2002 đến 1/2006) gồm thông tin của 527 371 job
Chủ yếu là job có kích thước nhỏ ( 2 processor) , thời gian chạy ngắn ( < 1h) Mật độ job tập trung cao từ 8h đến 17h Mật độ job xấp xỉ nhau từ thứ 2 –thứ 6 , thứ 7 mật độ job giảm , chủ nhật bắt đầu tăng.
Đồ thị : Số lượng job dựa trên thời gian chạy (runtime) của job
Hình : Số lượng job dựa trên kích thước dựa trên số processor
Loại thực nghiệm so sánh độ hiệu quả của một chính sách so với một chính sách mặc định Giảm thời gian chờ , tăng tính tương tác cho các job ngắn , nhỏ
SRNAME[0] fast SRRESOURCES[0] PROC=1;MEM=256 SRTASKCOUNT[0] 20 SRDAYS[0] MON TUE WED THU FRI SRSTARTTIME[0] 8:00:00 SRENDTIME[0] 17:00:00 SRMAXTIME[0] 2:00:00 XFACTORWEIGHT 100 XFACTOR=1+<QUEUETIME>/<EXECUTIONTIME>
Hình : So sánh kết quả Xfactor trung bình
-Lần lượt thay đổi SRTASKCOUNT[0] với các giá trị 4 , 8 ,16 , 32 , 40 tương ứng với số lượng processor dành sẵn cho các job nhỏ - Giá trị nào là tốt nhất ?
So sánh Xfactor trung bình khi dùng chính sách Reservation với số lượng processor khác nhau
Khi ta sử dụng chính sách dự trữ tài nguyên ( standing reservation ) cho các job ngắn ( thời gian chạy ít hơn 2 h) thì chỉ số Xfactor trung bình sẽ giảm Điều này nói lên việc các job có thời gian thực thi ngắn sẽ được ưu tiên hơn , tăng tính tương tác của hệ thống đối với các job ngắn.
- Trong một workload gồm nhiều loại job ( khác nhau về thời gian cũng như về kích thước ) , không phải lúc nào dành sẵn nhiều processor cho job ngắn cũng làm giảm Xfactor trung bình nhiều hơn .
- Việc đặt trọng số cao XFATORWEIGHT sẽ giúp cho các job ngắn có độ ưu tiên cao hơn. Từ đó nó sẽ được đẩy lên đầu queue để thực hiện trước.
Xây dựng hệ thống máy tính cụm ảo đơn giản ( dùng Xen , PBS Torque , Maui và Nagios) Đưa ra giải pháp tích hợp và phát triển công cụ quản lý ( thêm ) node trong máy tính cụm ảo vào hệ thống giám sát Nagios Dùng thực nghiệm đánh giá một số giải pháp định thời hiệu quả cho một loại workload cụ thể
Nagios chạy trên quyền apache nên không có quyền ghi vào file nodes của hệ thống pbs Thực nghiệm đánh giá giải thuật định thời trong việc xác định giá trị thích hợp ( trong một dãy các giá trị có thể ) của các tham số quan trọng
Tìm hiểu các chính sách định thời thích hợp với sự thay đổi số lượng máy trong máy tính cụm ảo Thực hiện các thực nghiệm tìm các trọng số thích hợp cho các thông số cấu hình chính sách Maui (ứng với từng workload cụ thể )
Virtual cluster thesis
Điểm mạnh : Tốc độ triển khai được rút ngắn so với máy cụm vật lý. Khả năng di trú của máy ảo làm tăng khả năng chịu lỗi của hệ thống . Khi một máy ảo gặp vấn đề , hệ thống vẫn hoạt động bình thường.
Giới hạn : Ứng dụng cần sức mạnh xử lý cao, ảo hóa không là lựa chọn tốt. Tốc độ xử lý kém hiệu quả ( nếu tạo nhiều máy ảo trên cùng một máy vật lý ). Khi di chuyển máy ảo , cần đảm bảo máy chủ vật lý mới tương thích với máy cũ .
Điểm khác nhau giữa máy tính cụm ảo và máy tính cụm vật lý: * Về hiệu năng : tốc độ xử lý CPU * Về chi phí giao tiếp giữa các máy ảo trên cùng một node thật hoặc khác node thật
Resource Trace : đặc tả 1 node trong cụm (21 trường ) COMPUTENODE AVAILABLE 0 node001 PBS1 423132 1024 -1 2 -1 -1 1 LINUX62 AthlonK7 [amd] [fque:2] [ethernet] 1.66 [NONE] [NONE] [NONE]
Workload Trace : đặc tả 1 job (44 trường ) 2 0 20 user0010 group0000 74400 Completed [fque:1] 1029161912 1029163254 1029163254 1029163265 [NONE] [NONE] [NONE] >= 0 >= 0 [NONE] 1029161912 20 2 [NONE]:DEFAULT [NONE] account0007 [NONE] [NONE] 0 0.00 DEFAULT 1 0 0 0 0 2140000000 [NONE] 0 [NONE] [NONE] [DEFAULT] [NONE] [NONE]

More Related Content

Virtual cluster thesis

  • 1. NGHIÊN CỨU VÀ PHÁT TRIỂN HỆ THỐNG QUẢN LÝ MÁY TÍNH CỤM ẢO GVHD : TS Thoại Nam GVPB : TS Trần Văn Hoài SVTH 1 : Nguyễn Thị Kim Tuyên SVTH 2 : Trần Xuân Hiếu
  • 2. Giới thiệu Công cụ giám sát và quản lý máy tính cụm ảo Định thời ( scheduling ) công việc Kết luận
  • 3. Hình : Xu hướng máy tính cụm ảo
  • 4. Tận dụng tài nguyên sẵn có từ cụm máy vật lý hiện tại Dành cho các công việc vừa và nhỏ Mục đích , đối tượng sử dụng mở rộng Sử dụng phần mềm đã được dùng trên máy tính cụm vật lý , từ đó phát triển thêm Tận dụng máy tính “rảnh rỗi” ảo hóa rồi đưa vào cụm , dùng cho mục đích sử dụng khác
  • 5. Xây dựng một hệ quản lý cụm máy ảo  Các vấn đề cần quan tâm Giám sát và thay đổi linh hoạt số lượng máy ảo Tận dụng tối đa hiệu năng hệ thống .
  • 6. Vấn đề 1 : Công cụ giám sát Nagios Phát triển thêm phần công cụ quản lý node máy ảo Vấn đề 2 : Công cụ scheduling Maui Cấu hình thực nghiệm , kết quả
  • 8. Máy tính cụm ảo sử dụng các máy ảo trên tài nguyên vật lý sẵn có. Hình : Máy tính cụm ảo đơn giản
  • 9. Hệ thống bao gồm 3 phần chính : Cluster tool : công cụ triển khai và quản lý các máy ảo. (sử dụng Pbs Torque) . Monitoring tool : công cụ giám sát các node trong hệ thống.(sử dụng Nagios) Scheduler tool : định thời thực thi các công việc.(sử dụng Maui)
  • 10. Hình : Thiết kế hệ thống
  • 11. Một máy được sử dụng làm máy “server”. Các node thực thi job. file kết quả tự động gửi về cho user submit job.
  • 12. Cài đặt các queue trên máy “server”. Maui sẽ định thời thực thi các công việc trong các queue này.
  • 13. pbs_mom trên mỗi node. Cấu hình Nagios-plugin và NRPE trên mỗi node hỗ trợ việc monitoring.
  • 14. Nagios giao tiếp với người dùng qua giao diện web. Nagios thực hiện việc giám sát thông qua hệ thống file script viết theo ngôn ngữ bash shell.
  • 15. Nagios hỗ trợ monitoring các service CPU, Processes, Disk, User current trên mỗi node. Thêm vào monitoring queue chứa các job cho máy server. Và monitoring status pbs_mom trên mỗi node.
  • 16. Nagios sử dụng hệ thống file .cfg để cấu hình các thuộc tính. Thêm vào 3 file : host.cfg, group.cfg và service.cfg để định nghĩa các node, group và service cho group. Các máy node ở cùng trên một máy vật lý sẽ được định nghĩa cùng một group.
  • 17. Trên giao diện web của Nagios, thêm vào 3 link lần lượt để định nghĩa node, group và service cho group. Các thông tin sẽ được ghi xuống tương ứng với 3 file mới thêm vào.
  • 18. Hình : Giao diện NAGIOS – hiện thực
  • 19. Hình : Thao tác người quản trị
  • 20. Hình : Giao diện NAGIOS – Host group
  • 21. Hình : Giao diện NAGIOS - host
  • 22. Hình : Giao diện NAGIOS-Define host
  • 23. Hình : Giao diện NAGIOS – Define host group
  • 24. Hình : Giao diện NAGIOS – Define Service
  • 26. Hình : Kiến trúc Maui
  • 27. Hình : Maui ở chế độ bình thường và ở chế độ giả lập (Simulator)
  • 28. 4 bước : Cấu hình chính sách Phân tích workload Thiết lập Maui Simulator - Phân tích kết quả . Từ đó đưa ra tinh chỉnh cần thiết
  • 29. Resource : 120 node Linux đồng nhất . Cấu hình máy : 2 CPU 1.667 GHz 1024 MB Job : - Workload thu được từ log của Maui Scheduler trong thời gian 4 năm ( 7/2002 đến 1/2006) gồm thông tin của 527 371 job
  • 30. Chủ yếu là job có kích thước nhỏ ( 2 processor) , thời gian chạy ngắn ( < 1h) Mật độ job tập trung cao từ 8h đến 17h Mật độ job xấp xỉ nhau từ thứ 2 –thứ 6 , thứ 7 mật độ job giảm , chủ nhật bắt đầu tăng.
  • 31. Đồ thị : Số lượng job dựa trên thời gian chạy (runtime) của job
  • 32. Hình : Số lượng job dựa trên kích thước dựa trên số processor
  • 33. Loại thực nghiệm so sánh độ hiệu quả của một chính sách so với một chính sách mặc định Giảm thời gian chờ , tăng tính tương tác cho các job ngắn , nhỏ
  • 34. SRNAME[0] fast SRRESOURCES[0] PROC=1;MEM=256 SRTASKCOUNT[0] 20 SRDAYS[0] MON TUE WED THU FRI SRSTARTTIME[0] 8:00:00 SRENDTIME[0] 17:00:00 SRMAXTIME[0] 2:00:00 XFACTORWEIGHT 100 XFACTOR=1+<QUEUETIME>/<EXECUTIONTIME>
  • 35. Hình : So sánh kết quả Xfactor trung bình
  • 36. -Lần lượt thay đổi SRTASKCOUNT[0] với các giá trị 4 , 8 ,16 , 32 , 40 tương ứng với số lượng processor dành sẵn cho các job nhỏ - Giá trị nào là tốt nhất ?
  • 37. So sánh Xfactor trung bình khi dùng chính sách Reservation với số lượng processor khác nhau
  • 38. Khi ta sử dụng chính sách dự trữ tài nguyên ( standing reservation ) cho các job ngắn ( thời gian chạy ít hơn 2 h) thì chỉ số Xfactor trung bình sẽ giảm Điều này nói lên việc các job có thời gian thực thi ngắn sẽ được ưu tiên hơn , tăng tính tương tác của hệ thống đối với các job ngắn.
  • 39. - Trong một workload gồm nhiều loại job ( khác nhau về thời gian cũng như về kích thước ) , không phải lúc nào dành sẵn nhiều processor cho job ngắn cũng làm giảm Xfactor trung bình nhiều hơn .
  • 40. - Việc đặt trọng số cao XFATORWEIGHT sẽ giúp cho các job ngắn có độ ưu tiên cao hơn. Từ đó nó sẽ được đẩy lên đầu queue để thực hiện trước.
  • 41. Xây dựng hệ thống máy tính cụm ảo đơn giản ( dùng Xen , PBS Torque , Maui và Nagios) Đưa ra giải pháp tích hợp và phát triển công cụ quản lý ( thêm ) node trong máy tính cụm ảo vào hệ thống giám sát Nagios Dùng thực nghiệm đánh giá một số giải pháp định thời hiệu quả cho một loại workload cụ thể
  • 42. Nagios chạy trên quyền apache nên không có quyền ghi vào file nodes của hệ thống pbs Thực nghiệm đánh giá giải thuật định thời trong việc xác định giá trị thích hợp ( trong một dãy các giá trị có thể ) của các tham số quan trọng
  • 43. Tìm hiểu các chính sách định thời thích hợp với sự thay đổi số lượng máy trong máy tính cụm ảo Thực hiện các thực nghiệm tìm các trọng số thích hợp cho các thông số cấu hình chính sách Maui (ứng với từng workload cụ thể )
  • 45. Điểm mạnh : Tốc độ triển khai được rút ngắn so với máy cụm vật lý. Khả năng di trú của máy ảo làm tăng khả năng chịu lỗi của hệ thống . Khi một máy ảo gặp vấn đề , hệ thống vẫn hoạt động bình thường.
  • 46. Giới hạn : Ứng dụng cần sức mạnh xử lý cao, ảo hóa không là lựa chọn tốt. Tốc độ xử lý kém hiệu quả ( nếu tạo nhiều máy ảo trên cùng một máy vật lý ). Khi di chuyển máy ảo , cần đảm bảo máy chủ vật lý mới tương thích với máy cũ .
  • 47. Điểm khác nhau giữa máy tính cụm ảo và máy tính cụm vật lý: * Về hiệu năng : tốc độ xử lý CPU * Về chi phí giao tiếp giữa các máy ảo trên cùng một node thật hoặc khác node thật
  • 48. Resource Trace : đặc tả 1 node trong cụm (21 trường ) COMPUTENODE AVAILABLE 0 node001 PBS1 423132 1024 -1 2 -1 -1 1 LINUX62 AthlonK7 [amd] [fque:2] [ethernet] 1.66 [NONE] [NONE] [NONE]
  • 49. Workload Trace : đặc tả 1 job (44 trường ) 2 0 20 user0010 group0000 74400 Completed [fque:1] 1029161912 1029163254 1029163254 1029163265 [NONE] [NONE] [NONE] >= 0 >= 0 [NONE] 1029161912 20 2 [NONE]:DEFAULT [NONE] account0007 [NONE] [NONE] 0 0.00 DEFAULT 1 0 0 0 0 2140000000 [NONE] 0 [NONE] [NONE] [DEFAULT] [NONE] [NONE]

Editor's Notes

  1. Ý niệm máy tính cụm vật lý Cloud computing Đưa 1 ví dụ : Nhu cầu mở rộng , đối tượng mở rộng  Kết hợp tạo ra máy tính cụm ảo
  2. Hiệu năng máy tính cụm là chấp nhận được --  chứng tỏ bằng đo đạc thực tế
  3. Công dụng công cụ Maui
  4. Ý tưởng ban đầu của nhóm là trên giao diện của Nagios cho phép người quản trị được thêm node trực tiếp vào hệ thống pbs và hệ thống giám sát Nagios, nhưng do Nagios chạy trên quyền apache nên không có quyền ghi vào file nodes của hệ thống pbs. Hiện tại vẫn còn bị ràng buộc bởi một số điều kiện ban đầu , cần nhiều thao tác của người quản trị . Phần đánh giá các chính sách định thời của Maui chỉ mới so sánh cấu hình cải tiến so với cấu hình mặc định , những thí nghiệm xác định trọng số thích hợp ( trong một dãy các giá trị có thể ) cho các tham số quan trọng còn hạn chế.
  5. Hiệu năng máy tính cụm là chấp nhận được --  Chứng tỏ bằng đo đạc thực tế
  6. Chứng minh bằng thực nghiệm