Apache Atlas

La Fondation logicielle ApacheCatalogue de données

Apache Atlas est un système open source de gestion et de gouvernance des métadonnées conçu pour vous aider à trouver, organiser et gérer facilement les actifs de données.

Atlas a été incubé par Hortonworks sous l’égide de la Data Governance Initiative (DGI) et a rejoint l’incubateur officiel de la Fondation Apache en mai 2015, où il a vécu et grandi jusqu’à ce qu’il obtienne son diplôme de projet de haut niveau en juin 2017. L’objectif initial était la Environnement Apache Hadoop bien qu’Apache Atlas n’ait aucune dépendance sur la plateforme Hadoop elle-même.

Caractéristiques

Types et instances de métadonnées :

* Types prédéfinis pour diverses métadonnées Hadoop et non-Hadoop

* Possibilité de définir de nouveaux types pour les métadonnées à gérer

* Les types peuvent avoir des attributs primitifs, des attributs complexes, des références d’objet ; peut hériter d’autres types

* Les instances de types, appelées entités, capturent les détails des objets de métadonnées et leurs relations

* Les API REST pour travailler avec les types et les instances permettent une intégration plus facile

Classification :

* Possibilité de créer dynamiquement des classifications – comme PII, EXPIRES_ON, DATA_QUALITY, SENSITIVE

* Les classifications peuvent inclure des attributs – comme l’attribut expiry_date dans la classification EXPIRES_ON

* Les entités peuvent être associées à plusieurs classifications, permettant une découverte et une application de sécurité plus faciles

* Propagation des classifications via la lignée – garantit automatiquement que les classifications suivent les données au fur et à mesure de leurs différents traitements

Lignée :

* Interface utilisateur intuitive pour afficher la lignée des données au fur et à mesure de leur évolution dans divers processus

* API REST pour accéder et mettre à jour la lignée

Recherche/Découverte :

* Interface utilisateur intuitive pour rechercher des entités par type, classification, valeur d’attribut ou texte libre

* API REST riches pour rechercher selon des critères complexes

* Langage de requête de type SQL pour rechercher des entités – Langage spécifique au domaine (DSL)

Sécurité et masquage des données :

* Sécurité fine pour l’accès aux métadonnées, permettant des contrôles sur l’accès aux instances d’entités et des opérations telles que l’ajout/mise à jour/suppression de classifications

* L’intégration avec Apache Ranger permet l’autorisation/le masquage des données sur l’accès aux données en fonction des classifications associées aux entités dans Apache Atlas. Par exemple :

— qui peut accéder aux données classées comme PII, SENSITIVE

— les utilisateurs du service client ne peuvent voir que les 4 derniers chiffres des colonnes classées comme NATIONAL_ID

Site officiel

Tutoriel et documentation

Enter your contact information to continue reading