Informatique

    BigData, architecture et technologies

    BigData, architecture et technologies

    Réf 4-PP-BIG
    Durée 2 jours

    Objectifs

    Comprendre les concepts du BigData et connaître les technologies associées.

    Infos

    Sessions à venir

    14 avr-15 avr 2025
    30 jun-01 jui 2025
    25 aoû-26 aoû 2025

    Certifications :

    Nous consulter

    Programme

    Introduction

    • Le besoin : volumes importants de données, traitements optimisés de flux de données au fil de l'eau (nouvelles technologies et nouveaux usages)
    • Domaines concernés : recherche scientifique, médical, e-commerce, sécurité…
    • Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul
    • Définition de ETL : Extract Transform Load
    • Les acteurs aujourd'hui

    Stockage

    • Caractéristiques NoSQL :
      • Structure de données proches des utilisateurs, développeurs
      • Données structurées et non structurées, documents, images
    • Fichiers XML, JSON, CSV…
    • Les différents modes et formats de stockage
    • Stockage réparti : réplication, sharping, gossip protocl, hachage
    • Systèmes de fichiers distribués : GFS, HDFS, BigTable…
    • Les bases de données
    • Quelques exemples de produits et leurs caractéristiques : cassandra, MongoDB, CouchDB, DynamoDB...

    Indexation et recherche

    • Moteurs de recherche
    • Principe de fonctionnement
    • Méthodes d'indexation
    • Exemple de Lucene, et mise en oeuvre avec solr
    • Recherche dans les bases de volumes importants
    • Exemples de produits et comparaison : dremel, drill, elasticsearch, MapReduce…

    Calcul et restitution, intégration

    • Différentes solutions : calculs en mode batch, ou en temps réel, sur des flux de données ou des données statiques
    • Les produits : langage de calculs statistiques, R Statistics Language
    • Outils de calcul sur des volumes importants : storm en temps réel, hadoop en mode batch
    • Zoom sur Hadoop : complémentarité de HDMS et MapReduce

    Evolutions

    • Les offres Saas BigData, type Google BigQuery
    • Les limites actuelles. Les avancées annoncées

    En savoir +

    Prérequis

    PUBLIC : Chefs de projets, architectes, et toute personne souhaitant connaître les outils et solutions pour mettre en place une architecture BigData.
    PREREQUIS : bonne culture générale sur les systèmes d'information.

    Moyens pédagogiques

    Réflexion de groupe et apports théoriques du formateur
    Travail d'échange avec les participants sous forme de sous forme de réunion-discussion
    Utilisation de cas concrets issus de l'expérience professionnelle
    Validation des acquis par des questionnaires, des tests d'évaluation, des mises en situation et des jeux pédagogiques.
    Remise d'un support de cours.

    Possibilité de certification

    Nous consulter.