T8 - Parallélisme itinérant, virtualisation et reproductibilité

Mots clés: optimisation et performance, parallélisation, container, nuage , cloud, virtualisation, openACC, openCL, OpenMP, MPI, docker, singularity, reproductibilité, OpenPaaS, déploiement.

Objectifs

Faire un panorama des moyens et des techniques de calcul, de leurs utilisations et de leurs évolutions à l'ère du big data. Etudier les technologies permettant l'itinérance des applications parallèles, leurs déploiements, leurs portages et la reproductibilité des calculs. La convergence HPC-Cloud et la convergence calcul-données seront traitées.

Les vidéos des présentations

  • 14h00-14h15 : Présentation de la T8 et de ses enjeux : Etienne Gondet (OBS-MIP/CNRS).

  • 14h15-14h45 : La pyramide du calcul intensif pour passer de la solution individuelle au super-calculateur européen - Jean-Philippe Proux (GENCI). Jdev2017_T8_pdf_JP_Proux.

  • 14h45-15h15 : Panorama des paradigmes de parallélisation pour les architectures pré-exascales (parallélisme asynchrone/synchrone, mémoire partagé/distribuée, cartes graphiques, …) - Pierre François Lavallée (IDRIS/CNRS). Jdev2017_T8_pdf_F_Lavallée

  • 15h45-16h20 : Applications, reformulation mathématique et programmation parallèle asynchrone (modélisation mathématique, programmation et architecture) pour optimiser l'utilisation des architectures distribuées - Pierre Spiteri, Professeur émérite (ENSEEIHT). Jdev2017_T8_pdf_P_Spiteri

  • 16h20-17h00 : “Quelle place pour les containers dans le monde du calcul ?” . technologies de containers existantes, puis avantages/inconvénients de l'utilisation des containers sur des codes de calcul et en production. Reproductibilité des calculs et conteneurs - R. Dernat (Montpellier). Jdev2017_T8_pdf_R_Dernat

  • 17h00-17h30 : Sécurité dans les environnements/infrastructures multitenants ( infrastructure hébergeant des applications différentes appartenant à des usagers suspicieux avec des contraintes de confidentialité). Technologie innovante d'intel. Autre Titre possible “conteneurs sécurisées ou machine virtuelle sécurisée” permettant la sécurité vis à vis de l'hébergeur et des autres clients pour le portage d'applications sensibles - Alain Tchana (mcf/IRIT/ENSEEIHT). Jdev2017_T8_pdf_A_Tchana

Description

Après un point sur les moyens de calcul disponibles en France et en Europe et la façon d'y accéder, la thématique s'attachera à faire le point des technologies permettant l'itinérance des applications parallèles afin de faciliter le déploiement, le portage et la reproductibilité des résultats entre les différents types de moyens de calcul disponibles dans le paysage du calcul intensif. Les grands standards et leurs dernières avancées pour la programmation parallèle seront donc abordées (MPI, OpenMP, OpenACC, OpenCL, …) ainsi que les récentes technologies de virtualisation notamment à base de containers adaptées aux architectures parallèles et au calcul. La thématique abordera également la question de la convergence calcul et analyse des données dans l'optique des mégadonnées en lien avec les thématiques T7, T5 et la thématique transverse bigdata.

Les langages, bibliothèques et outils propres au big data pour le calcul et la simulation dans les logiciels scientifiques seront étudiées. Nous aborderons par la pratique les nouvelles solutions matérielles disponibles pour leurs implémentations (GPU, xeonphi KNL…). La bonne utilisation de ces architectures, l'adéquation entre les solutions logicielles et les solutions matérielles de calcul seront étudiées. Nous ferons le point sur les langages et les principales APIs (MPI, OpenCL, OpenMP…), la programmation hybride (MPI/openMP, MPI/OpenCL…), la programmation asynchrone et le multithreading seront abordés.

Les méthodes numériques et les solutions logicielles (Hadoop, MapReduce, Spark…) pourront etre abordées en partenariat avec les autres thématiques. Finalement, cette thématique sera l'occasion de faire le point sur les dernières avancées en matière de containers pour la virtualisation des calculs hautes performances basé sur les différents parallélismes présentées.

Mots clés

  • Calcul et simulation
  • Calcul intensif et données
  • Parallélismes
  • Langages (OpenMP, MPI, OpenACC, openCL, OpenMP, MPI)
  • programmation GPU (OpenCL, OpenACC)
  • Programmation Hybride : MPI/OpenMP ou MPI/OpenCL
  • Architectures et algorithmique
  • Optimisation et performance
  • Container et virtualisation (docker, singularity, OpenPaaS, …)
  • Précision
  • Reproductibilité
  • Déploiements (NIX, roboconf…)
  • Infrastructures numériques, utilisabilité en lien avec la T5
  • convergence HPC-CLoud (développement, déploiement, maintenance de service de calcul et de données), les technologies de cloud) en lien avec la T5 et l'axe transverse BigData.
  • Les langages Julia, python, R sont eux traités en T7.
  • méthodes numériques, algorithmiques et big data –> T7
  • programmation parallèle pour le traitement de données en commun avec la T7

Public

  • réseaux Devlog, calcul, Télédétection.
  • GDRs calcul, GPL, Personnels et Utilisateurs des centres de calcul de niveau T2 ou T3 (Régionaux/Locaux).
  • Tout utilisateur souhaitant faire passer à l'echelle supérieure son application.
  • Développeurs d'applications parallèles.
  • Chef de projet et expert en déploiement d'applications parallèles.

Agenda

  • Mardi Matin: AP01, AP02, AP03 , AP04, AP06
  • Mercredi Matin:A03, A09, A10, GT12
  • Mercredi après-midi: A05, A08, GT04/GT06, GT09/GT11 (le GT09 en 1er)
  • Mercredi fin après-midi: (17h30-19h00): GT10
  • jeudi Matin: A02, (GT03 et GT01 fusionnés avec le GT08), GT07/GT08
  • Jeudi PM Plénière de la T8

Présentations

  • 14h00-14h15 : Présentation de la T8 et de ses enjeux : Etienne Gondet (OBS-MIP/CNRS).
  • 14h15-14h45 : La pyramide du calcul intensif pour passer de la solution individuelle au super-calculateur européen - Jean-Philippe Proux (GENCI). Jdev2017_T8_pdf_JP_Proux.
  • 14h45-15h15 : Panorama des paradigmes de parallélisation pour les architectures pré-exascales (parallélisme asynchrone/synchrone, mémoire partagé/distribuée, cartes graphiques, …) - Pierre François Lavallée (IDRIS/CNRS). Jdev2017_T8_pdf_F_Lavallée
  • 15h15-15h45 - Pause.
  • 15h45-16h20 : Applications, reformulation mathématique et programmation parallèle asynchrone (modélisation mathématique, programmation et architecture) pour optimiser l'utilisation des architectures distribuées - Pierre Spiteri, Professeur émérite (ENSEEIHT). Jdev2017_T8_pdf_P_Spiteri
  • 16h20-17h00 : “Quelle place pour les containers dans le monde du calcul ?” . technologies de containers existantes, puis avantages/inconvénients de l'utilisation des containers sur des codes de calcul et en production. Reproductibilité des calculs et conteneurs - R. Dernat (Montpellier). Jdev2017_T8_pdf_R_Dernat
  • 17h00-17h30 : Sécurité dans les environnements/infrastructures multitenants ( infrastructure hébergeant des applications différentes appartenant à des usagers suspicieux avec des contraintes de confidentialité). Technologie innovante d'intel. Autre Titre possible “conteneurs sécurisées ou machine virtuelle sécurisée” permettant la sécurité vis à vis de l'hébergeur et des autres clients pour le portage d'applications sensibles - Alain Tchana (mcf/IRIT/ENSEEIHT). Jdev2017_T8_pdf_A_Tchana

Ateliers préparatoires (3h le mardi matin de 10h a 13h)

  • T8.AP01: Initiation à openMP pour la parallélisation à mémoire partagée et l'optimisation monocoeur par vectorisation (OpenMP4). Bertrand Putigny IRAP/OMP et Gabriel Hautreux/GENCI.
  • T8.AP02 : initiation Les bases d'openACC Arnaud Renard et Jean-Matthieu Etancelin / Romeo.
  • T8.AP03 : initiation MPI communication point à point. Thierry Garcia, (LI-PaRAD). Présentation et Exercices.
  • T8.AP04 : Débuter avec Nix, gestionnaire de paquets “user level”. Comment créer ses propres paquets reproductibles. L'atelier ira de l'installation de Nix sur sa machine jusqu'au développement de son 1er paquet. Laure Tavard, Bruno Bzeznik / UMS GRICAD et Franck Pérignon, Philippe Beys. Nix_Intro_JDEV2017_pdf et tutorial .
  • T8.AP05 : Fusionné avec le T8.AP01.
  • T8.AP06 : OpenCL compiler for Intel FPGA. Marc Gaucheron, Intel. OpenCL_For_FPGA_Marc_gaucheron_Intel_pdf.

Ateliers (3h le mercredi ou jeudi)

  • T8.A01 : voir T5.A08: Roboconf, Orchestration de conteneurs pour l'intégration continue.
  • T8.A02 : Prise en main d'un outil Intel d'optimisation par vectorisation (Intel Advisor) avec des codes OpenMP. Bertrand Putigny IRAP/Observatoire Midi-Pyrénées.
  • T8.A03 : Comment Programmer les GPU (openMP, openACC, Cuda, openCL, par toolbox ou librairie) - Arnaud Renard, Jean-Matthieu Etancelin ROMEO.
  • T8.A05 : Tutoriel parallèlisme hybride Multi GPU avec mpi et OpenACC - A. Renard, Jean-Matthieu Etancelin / Romeo.
  • T8.A08 : Programmation memoire partagée hybride OpenMP4 - Gabriel Hautreux/cellule veille technologique du GENCI.
  • T8.A09 : Transporter ses applications parallèles avec les containers LXD et Singularity. - Alexandre Dehne Garcia (INRA) et Martin Souchal (APC/Univ Paris 7).
  • T8.A10 : Atelier “portage d'un code sous MPI” - Thierry garcia (Li-PARAD) et Pierre SPITERI (IRIT). Présentation et Exercices .
  • T8.A11 : portage d'un code scientifique - KNL, openPower. GENCI. rattaché au GT12.

Groupes de travail (1h30)

Attention : Les 3 GT qui suivent ont été regroupées en un seul nommé T8.GT08, Ceci afin de faire un tour de table et un bilan de la thématique T8 juste avant la plénière qui suivra l'après midi :

  • T8.GT08 : Reproductivité des calculs à tous les étages de la pyramide de calcul, quels outils :LXC, LXD, containers docker sur GPU… : REX d'Arnaud Renard/Romeo de docker sur GPU en mono noeud avec du cuda.
  • T8.GT03 : Quel est le rôle des T3 (Tiers 3 locaux de calcul ) ? Quelle est la bonne échelle de déploiement des applications? choix de la plateforme Tiers2 ou Tiers3 argumentation sur les avantages respectifs (agrégation, opérationnel, débogage , haute disponibilité, faible attente, changement d’échelle, applications métiers ou spécialisées pour communautés homogènes. - Etienne Gondet/OBS-MIP et Emmanuel Courcelle/CALMIP .
  • T8.GT01 : Faire migrer son code sur l'échelle de la pyramide de calcul. (laptop, serveur, T3, T2, T1, T0) - Convergence et divergence de pratiques - Docker, LXC/LXD, NIX, Singularity…)? Quelle approche techno-méthodo pour faire migrer son code, pour passer à l'échelle? –Recommandations algorithmique, informatique, Outils …)? David Chamont/IN2P3/CNRS.

Les autres GTs :

  • T8.GT04 : Convergence HPC/Cloud : Jean-Marc Pierson/IRIT Quels services et technologies pour faciliter l'usage des T2? (Openstack, virtualisation, spark, hadoop…). Architecture et Optimisation/Adéquation matériel (openstack, conteneur, spark, Hadoop et niveau serveur, processeur, noyau) et niveau de parallélisme
  • T8.GT05 renommé T5.A08 : Convergence calcul et données : comment organiser mes services de données et de calcul? Comment déployer sur un centre de calcul/architecture de calcul? (openstack, PAAS, CLOUD…) - roboconf par alain Tchana ENSHEIIT ou encore Comment passer d'une infrastructure de calcul à une infrastructure numérique en lien avec la T5.
  • T8.GT06 : NIX comme environnement HPC reproductible, résistant aux mises à jours et portable Laure Tavard, Bruno Bzeznik, Olivier Richard (UMS GRICAD).
  • T8.GT07 : Les containers pour le parallèlisme (Etat de l'art, REX et projets à venir). R. Dernat (Univ. Montpellier) M Souchal (IN2P3/CNRS) A.D Garcia (INRA).
  • T8.GT09 : Programmation parallèle asynchrone, applications et modélisation mathématique - Pierre Spiteri et Vincent Partimbene.
  • T8.GT10 : Le mercredi soir de 17h30 à 19h00. Le programme SIMSEO : développer l’innovation dans les PME grâce à la simulation numérique et aux partenariats académie-industrie (suite d'hpc@pme) - Thomas Palychata/GENCI.
  • T8.GT11 : ANNULE : AWS Batch - Chercheurs, enseignants, venez découvrir comment faire pratiquement des calculs haute performance sans vous soucier du matériel. Arthur Petitpierre / AWS (Amazon Web Services) .
  • T8.GT12 :Nouvelles architectures parallèles: présentez votre code parallèle en 5 minutes et discutez de ses perspectives d’évolution. Etienne Gondet/OBS-MIP et Gabriel Hautreux/cellule de veille technologique du GENCI.
 
jdev2017/t8.txt · Dernière modification: 2017/07/25 14:48 par etienne.gondet@get.obs-mip.fr
 
Recent changes RSS feed Powered by PHP Powered by Pxxo Driven by DokuWiki