Cơ sở dữ liệu phân tán H3C DataEngine MPP

Lưu trữ và tính toán cột tiên tiến

Trong H3C DataEngine MPP, mỗi cột dữ liệu được lưu trữ độc lập trong một khối lưu trữ đĩa cứng liên tục. Điều này về cơ bản khác với cơ sở dữ liệu hàng truyền thống lưu trữ dữ liệu liên tục theo thứ tự hàng.

H3C DataEngine MPP cũng hỗ trợ công nghệ giải nén trễ. Công cụ tối ưu hóa và thực thi của H3C DataEngine MPP tận dụng tối đa công nghệ tính toán cột để hỗ trợ truy cập trực tiếp vào các giá trị được mã hóa dữ liệu trong các điều kiện truy vấn và liên kết mà không cần giải mã trước. Bằng cách này, H3C DataEngine MPP có thể tiết kiệm đáng kể chi phí CPU trong các truy vấn dữ liệu và cải thiện hiệu suất truy vấn tổng thể.

Nén hoạt động hiệu quả cao

H3C DataEngine MPP hỗ trợ hơn 12 thuật toán nén, chẳng hạn như: thuật toán độ dài hành trình, mã hóa delta value, nén số nguyên cho dữ liệu số nguyên, từ điển khối cho dữ liệu ký tự, mã hóa Lempel-Ziv cho các loại dữ liệu khác, v.v.

H3C DataEngine MPP thường có tỷ lệ nén dữ liệu lên tới 10: 1. Từ quan điểm tiết kiệm tiêu thụ tài nguyên I/O, đối với các hệ thống phân tích mà I/O là nút thắt chính, công nghệ nén chủ động của H3C DataEngine MPP có thể mang lại hiệu suất tăng khoảng một bậc so với các cơ sở dữ liệu hàng truyền thống. Tuy nhiên, số liệu nghiệp vụ của các ngành khác nhau, đặc điểm của nó khác nhau khá lớn. Do đó, H3C DataEngine MPP cũng có tỷ lệ nén khác nhau cho các loại dữ liệu khác nhau.

Tính toán song song quy mô lớn và khả năng mở rộng độc đáo và tiện lợi không chia sẻ

H3C DataEngine MPP hỗ trợ mở rộng cụm trực tuyến một chạm. Các nút có thể được tham gia và xóa chỉ bằng một cú nhấp chuột và phân phối lại dữ liệu có thể được thực hiện tự động, quá trình mở rộng không cần phải làm gián đoạn các doanh nghiệp đang chạy. Tất cả các nút trong cụm H3C DataEngine MPP hoàn toàn ngang hàng, không cần masternode và tải dữ liệu, xuất dữ liệu và truy vấn có thể được thực hiện song song trên tất cả các nút cùng một lúc. Không chia sẻ tài nguyên, việc tăng các nút có thể mở rộng tuyến tính dung lượng dữ liệu và sức mạnh tính toán của MPP DataEngine H3C, có thể dễ dàng mở rộng và thu hẹp từ một vài nút đến hàng nghìn nút, hoặc từ một vài terabyte đến hàng chục petabyte, đáp ứng yêu cầu tăng trưởng quy mô kinh doanh.

Lưu trữ dựa trên doanh nghiệp

Trong thời đại dữ liệu lớn, dữ liệu được tạo ra ngày càng nhanh hơn, trong khi tuân thủ và khai thác sâu đòi hỏi nhiều dữ liệu hơn được giữ lại, do đó ngày càng có nhiều dữ liệu được lưu trữ trong cơ sở dữ liệu. H3C DataEngine MPP có thể tối ưu hóa chi phí lưu trữ bằng cách chỉ định các chính sách lưu trữ khác nhau cho các Schema khác nhau, các đối tượng như bảng và phân vùng bảng, chỉ định các vị trí lưu trữ khác nhau (phương tiện lưu trữ có thể có hiệu suất, chi phí và dung lượng khác nhau). Trong khi đó, H3C DataEngine MPP cũng hỗ trợ sao lưu một số bảng và phân vùng bảng để lưu trữ ngoại tuyến, cũng như khôi phục từ lưu trữ ngoại tuyến, giúp tăng tốc độ trao đổi dữ liệu giữa lưu trữ trực tuyến và lưu trữ ngoại tuyến, cải thiện việc sử dụng và giá trị kinh doanh của các thiết bị trực tuyến.

Thiết kế tối ưu hóa tự động tích hợp

Các nhà thiết kế của H3C DataEngine MPP không chỉ cung cấp thiết kế tối ưu hóa tổng thể cho cơ sở dữ liệu hoặc lược đồ mà còn cho phép tối ưu hóa gia tăng cho một số truy vấn cụ thể. Ngoài ra, H3C DataEngine MPP cũng cung cấp bộ phân tích tải để thu thập dữ liệu tải chạy cơ sở dữ liệu, cung cấp các đề xuất tự động hóa bất cứ lúc nào. Điều này làm giảm đáng kể chi phí quản lý DBA.

Hệ thống đảm bảo ổn định

H3C DataEngine MPP cho phép tính khả dụng cao bằng cách duy trì nhiều bản sao lưu dự phòng của dữ liệu. H3C DataEngine MPP đảm bảo rằng dữ liệu dự phòng được lưu trữ trên các nút khác nhau bằng cách băm dữ liệu, do đó tích hợp tính năng phản chiếu dữ liệu thông minh. H3C DataEngine MPP gọi nó là K-level Factor Reliability (K-safety), và K đề cập đến số lượng các nút bất kỳ mà H3C DataEngine MPP có thể chịu đựng được.

Độ tin cậy của hệ số lớp K đảm bảo rằng trong trường hợp bất kỳ nút K nào bị lỗi, ít nhất một bản sao dữ liệu đầy đủ vẫn còn trong cụm để đáp ứng các yêu cầu xử lý dữ liệu và truy vấn. Lỗi nút là minh bạch đối với ứng dụng và không làm gián đoạn hoạt động kinh doanh đang được thực hiện. Bằng cách điều chỉnh số lượng bản sao của dữ liệu dư thừa, H3C DataEngine MPP có sẵn để đáp ứng nhu cầu thiết kế ứng dụng khác nhau.

H3C DataEngine MPP hỗ trợ các nhóm chịu lỗi và nhận thức rack. Dự phòng dữ liệu của H3C DataEngine MPP là nhóm chịu lỗi quá mức, khi các nút của một nhóm chịu lỗi (thường là một tủ, hoặc thậm chí là một khu vực bao gồm một số tủ) bị lỗi, có thể đảm bảo rằng dữ liệu của toàn bộ cơ sở dữ liệu vẫn còn nguyên vẹn và hiệu quả, do đó tránh được tác hại của sự cố phần cứng quy mô lớn như tủ mất điện đối với khả năng sử dụng của toàn bộ cụm.

Học máy trong thư viện

Các hệ thống phân tích dữ liệu truyền thống sử dụng quy trình hoạt động "phân tích/khai thác yêu cầu - nhấc dữ liệu - phân tích/khai thác - trình bày kết quả". Sự xuất hiện của dữ liệu lớn, khiến mạng lưới trở thành nút thắt cổ chai, thời gian trễ cao của nhiệm vụ phân tích/khai thác trở nên không thể chịu đựng được.

H3C DataEngine MPP nhấn mạnh sự kết hợp chặt chẽ giữa các thuật toán phân tích/khai thác với cơ sở dữ liệu, tận dụng tối đa sức mạnh tính toán thời gian thực của H3C DataEngine MPP dựa trên các tính năng của kiến trúc cột và MPP để thực hiện phân tích/khai thác hiệu quả.

Ngoài các phân tích thống kê và hồi quy tuyến tính phổ biến, H3C DataEngine MPP được mở rộng dựa trên SQL-99 để cung cấp các tính năng phân tích tiên tiến dựa trên chuỗi thời gian, phân tích phù hợp mẫu, phân tích địa lý và hơn thế nữa. Những tính năng này sẽ làm giảm đáng kể nỗ lực của người dùng trong việc phát triển các phân tích dữ liệu phức tạp và hoàn thành tốt các nhiệm vụ phân tích trong môi trường khối lượng dữ liệu lớn. Trong khi đó, H3C DataEngine MPP hỗ trợ phân tích hội tụ có cấu trúc và phi cấu trúc, kết hợp với khả năng phân tích vượt trội về cấu trúc và phi cấu trúc của H3C DataEngine MPP và Hadoop để tạo ra các giải pháp phân tích hội tụ hiệu quả.

Phát triển và mở rộng khả năng

H3C DataEngine MPP có khả năng tương thích mạnh mẽ. Hỗ trợ các tiêu chuẩn SQL-92/SQL-99/SQL-2003 và cung cấp các trình điều khiển ODBC, JDBC, ADO.NET để dễ dàng tích hợp với các công cụ ETL hiện có như Informatica, DataStage, các công cụ báo cáo như BO, Cognos, v.v. và các công cụ phân tích như SAS, SPASS, v.v. để bảo vệ các khoản đầu tư hiện có.

Máy chủ MPP DataEngine H3C sử dụng máy chủ Linux X86, hỗ trợ các máy chủ X86 chính và các bản phân phối Linux. H3C DataEngine MPP cũng cung cấp SDK để phát triển các chức năng tùy chỉnh, hỗ trợ người dùng sử dụng H3C DataEngine MPP làm nền tảng tính toán dữ liệu lớn, thông qua ngôn ngữ C++/R/Java để thêm các thuật toán phân tích và xử lý dữ liệu độc đáo của riêng họ như một phần mở rộng vào H3C DataEngine MPP, để tận dụng tối đa công nghệ MPP và tính toán cột của H3C DataEngine MPP, cho phép người dùng ngay lập tức có khả năng xử lý phân tích dữ liệu lớn hiệu quả.

H3C DataEngine MPP hỗ trợ mở rộng cụm trực tuyến một chạm. Các nút có thể được tham gia và xóa chỉ bằng một cú nhấp chuột và phân phối lại dữ liệu có thể được thực hiện tự động, quá trình mở rộng không cần phải làm gián đoạn các doanh nghiệp đang chạy.

Bảo mật cơ sở dữ liệu

H3C DataEngine MPP có tính bảo mật cao. H3C DataEngine MPP hỗ trợ nhiều phương pháp xác thực. Chỉ những người dùng được chứng nhận mới được phép truy cập MPP H3C DataEngine. Trong khi đó, H3C DataEngine MPP cung cấp vai trò đầy đủ và cơ chế ủy quyền cho phép linh hoạt kiểm soát quyền truy cập dữ liệu của người dùng. Hỗ trợ nhiều đối tượng thuê và sandbox, thực hiện chế độ quản lý nhiều đối tượng thuê cho cơ sở dữ liệu. Mô hình nhiều người thuê có thể tận dụng tối đa sự khác biệt về thời gian "đỉnh thung lũng" tiêu thụ tài nguyên của người thuê/ứng dụng khác nhau, cho phép chia sẻ tài nguyên.

Ngoài ra, H3C DataEngine MPP cũng hỗ trợ sao lưu, khôi phục một số đối tượng cơ sở dữ liệu (ví dụ: Schema, bảng), hỗ trợ quản lý chính sách sao lưu theo từng đối tượng thuê, để mỗi đối tượng thuê có thể quản lý vòng đời đầy đủ của đối tượng dữ liệu của họ. Chức năng sao lưu và khôi phục đối tượng một phần cơ sở dữ liệu của H3C DataEngine MPP cung cấp hỗ trợ cho việc quản lý hệ thống dữ liệu lớn theo cấp độ đa cấp của ứng dụng và người dùng.

Tối ưu hóa lưu trữ cột và tính toán

Trong H3C DataEngine MPP, mỗi cột dữ liệu được lưu trữ độc lập trong một khối lưu trữ đĩa cứng liên tục. Điều này về cơ bản khác với cơ sở dữ liệu hàng truyền thống lưu trữ dữ liệu liên tục theo thứ tự hàng. H3C DataEngine MPP hỗ trợ công nghệ vật chất hóa chậm. Đối với hầu hết các truy vấn phân tích, bạn thường chỉ cần lấy một tập hợp con của tất cả các cột dữ liệu. H3C DataEngine MPP Column Optimizer và Execution Engine có thể bỏ qua các cột không liên quan trong bộ nhớ cột, do đó tiết kiệm rất nhiều tài nguyên I/O tiêu thụ.

Nén hoạt động

Không giống như các cơ sở dữ liệu khác tuyên bố hỗ trợ lưu trữ cột được lưu trữ theo thứ tự ngược của chèn dữ liệu, H3C DataEngine MPP tự động chọn cách sắp xếp và thuật toán nén phù hợp dựa trên loại dữ liệu, cơ sở và đặc điểm truy vấn của mỗi cột để giảm dung lượng lưu trữ dữ liệu, giảm tiêu thụ I/O của truy vấn và tăng hiệu suất truy vấn. H3C DataEngine MPP hỗ trợ hơn 12 thuật toán nén.

Không chia sẻ tính toán song song quy mô lớn và khả năng mở rộng

Tất cả các nút trong cụm H3C DataEngine MPP hoàn toàn ngang hàng, không cần masternode và tải dữ liệu, xuất dữ liệu và truy vấn có thể được thực hiện song song trên tất cả các nút cùng một lúc. Không chia sẻ tài nguyên, việc tăng các nút có thể mở rộng tuyến tính dung lượng dữ liệu và sức mạnh tính toán của MPP DataEngine H3C, có thể dễ dàng mở rộng và thu hẹp từ một vài nút đến hàng nghìn nút, hoặc từ một vài terabyte đến hàng chục petabyte, đáp ứng yêu cầu tăng trưởng quy mô kinh doanh.

Lưu trữ phân loại

Trong thời đại dữ liệu lớn, dữ liệu được tạo ra ngày càng nhanh hơn, trong khi tuân thủ và khai thác sâu đòi hỏi nhiều dữ liệu hơn được giữ lại, do đó ngày càng có nhiều dữ liệu được lưu trữ trong cơ sở dữ liệu. Hiệu suất phân tích, chi phí đĩa cao và yêu cầu dung lượng dữ liệu lớn thường mâu thuẫn. Các tính năng lưu trữ được phân loại của H3C DataEngine MPP có thể giải quyết hiệu quả mâu thuẫn này. H3C DataEngine MPP có thể tối ưu hóa chi phí lưu trữ bằng cách chỉ định các chính sách lưu trữ khác nhau cho các Schema khác nhau, các đối tượng như bảng và phân vùng bảng, chỉ định các vị trí lưu trữ khác nhau (phương tiện lưu trữ có thể có hiệu suất, chi phí và dung lượng khác nhau).

Thiết kế tối ưu hóa tự động

H3C DataEngine MPP được xây dựng trong một trình thiết kế tối ưu hóa cơ sở dữ liệu với kiến thức chuyên môn. Người dùng chỉ cần chỉ định chế độ logic (Schema), gắn dữ liệu mẫu và cung cấp các câu lệnh SQL truy vấn điển hình, trình thiết kế tối ưu hóa cơ sở dữ liệu của H3C DataEngine MPP sẽ tự động thiết kế cách phân phối dữ liệu theo chiều ngang, cách sắp xếp từng cột và thuật toán nén dựa trên kiến thức chuyên môn, cân bằng hiệu suất truy vấn và yêu cầu kích thước không gian lưu trữ, thực hiện tối ưu hóa tổng thể cơ sở dữ liệu.

Nền tảng phân tích đám mây gốc

H3C DataEngine MPP đồng thời hỗ trợ phân tách tài nguyên điện toán và lưu trữ trong các kịch bản đám mây công cộng và riêng tư, kết hợp với hiệu suất cao không chia sẻ MPP và lợi thế mở rộng nhanh chóng của lưu trữ chia sẻ, bản sao dữ liệu chính nằm trong lưu trữ chia sẻ dễ dàng mở rộng cực nhanh, dữ liệu nhiệt nằm trong tài nguyên máy tính cung cấp hiệu suất cao cục bộ, đồng thời đạt được khả năng mở rộng linh hoạt của khả năng thông lượng bằng cách tránh lãng phí tài nguyên quá nhiều nút cụm trong các kịch bản tải đồng thời cao thông qua "nhóm con".

Kiến trúc MPP không chia sẻ: Việc sử dụng hàng trăm hoặc hàng ngàn nút tính toán song song của H3C DataEngine MPP là chìa khóa kiến trúc để hỗ trợ phân tích dữ liệu lớn để có đủ tài nguyên tính toán và lưu trữ. Kiến trúc MPP không chia sẻ không yêu cầu lưu trữ được chia sẻ hoặc thậm chí các nút chính chuyên dụng để có thể mở rộng lên hàng trăm hoặc hàng nghìn nút để hỗ trợ phân tích dữ liệu lớn.

Hỗ trợ Native High Availability: H3C DataEngine MPP được xây dựng sẵn có cao, cho phép minh bạch với ứng dụng nếu nút bị lỗi trong phạm vi khả năng sử dụng thiết kế mà không làm gián đoạn hoạt động kinh doanh đang thực hiện. Các tính năng sao lưu và khôi phục gia tăng của H3C DataEngine MPP, sao lưu một số đối tượng và khôi phục cơ sở dữ liệu có thể đảm bảo ứng dụng có thể được khôi phục nhanh chóng trong trường hợp xảy ra thảm họa.

Cơ sở dữ liệu cột được tối ưu hóa: Chìa khóa cho hiệu suất phân tích dữ liệu lớn để loại bỏ nút thắt trên I/O. Sự kết hợp của H3C DataEngine MPP Column Storage và Computing (Column Engine), cung cấp đầy đủ các chức năng bao gồm tăng, xóa, sửa đổi hoạt động, là chìa khóa để hỗ trợ các truy vấn phân tích hiệu suất cao và truy vấn ngẫu nhiên trong điều kiện dữ liệu lớn.

Nền tảng phân tích thời gian thực Big Data lý tưởng: Với công nghệ lưu trữ và tính toán cột hiệu suất cao, H3C DataEngine MPP hỗ trợ nén dữ liệu chủ động, phân tích nâng cao, với các tính năng tiên tiến như mở rộng đàn hồi cũng như mở rộng bên ngoài tùy chỉnh, H3C DataEngine MPP là nền tảng lý tưởng để hỗ trợ phân tích thời gian thực Big Data.