Le géant du streaming, est connu pour son impressionnant catalogue de contenus multimédias. Cependant, ce que beaucoup ignorent, c’est l’infrastructure d’apprentissage automatique (machine learning) qui se cache derrière cette offre pléthorique. Cette infrastructure, conçue et mise en œuvre par une équipe d’ingénieurs spécialisés en apprentissage automatique, est dédiée à l’amélioration continue de l’expérience utilisateur sur la plateforme.

L’infrastructure d’apprentissage automatique de Netflix est le moteur essentiel de leur écosystème de contenu, du système de recommandation personnalisée jusqu’à l’adaptation automatique des séquences de montage. Elle incarne également l’esprit d’innovation de Netflix, avec un engagement continu dans la recherche et le développement pour rester à la pointe de la technologie.

Cette infrastructure, repose sur des technologies avancées comme le cloud AWS, offre une évolutivité, une fiabilité et une efficacité remarquables. De plus, sa flexibilité permet aux ingénieurs de Netflix de toujours expérimenter et innover sans cesse.

Les différentes briques technologiques open sources développées par Netflix

Netflix a développé plusieurs briques technologiques open source pour soutenir son infrastructure d’apprentissage automatique. Ces outils permettent aux ingénieurs de la plateforme de travailler plus efficacement et de développer des solutions innovantes pour améliorer l’expérience utilisateur.

Parmi ces outils, on trouve le système de fichiers MezzFS, conçu pour optimiser l’utilisation des ressources informatiques. Il s’agit d’un système de fichiers distribué qui permet d’accéder à des fichiers stockés dans le cloud AWS de manière efficace et rapide. MezzFS joue un rôle crucial dans le pipeline d’apprentissage automatique de Netflix, en permettant un accès rapide et fiable aux données nécessaires pour l’entraînement des modèles.

Un autre outil important est le service d’annotation Marken. Il s’agit d’un service qui permet d’interfacer avec des applications, notamment des éditeurs vidéo. Marken utilise un langage de requête spécifique pour interagir avec ces applications et faciliter la tâche des ingénieurs.

Netflix a développé un magasin de données dédié pour son infrastructure d’apprentissage automatique. Ce magasin de données, qui utilise une fonction de mise en commun pour éviter les recalculs, est essentiel pour gérer les vastes volumes de données traités par la plateforme.

Netflix détecte les match-cuts

Le match-cut ou “raccord visuel” est une technique de transition entre deux scènes qui utilise une continuité visuelle pour créer une impression de fluidité. Cette technique est largement utilisée dans le cinéma et la télévision pour créer des transitions harmonieuses entre les scènes. Chez Netflix, la détection de séquences de match-cut est un aspect important de l’infrastructure d’apprentissage automatique.

L’objectif de Netflix est de détecter les séquences de match-cut idéales pour améliorer l’expérience de visionnage de ses utilisateurs. Pour cela, la plateforme utilise une infrastructure à zone limitée pour traiter et analyser les données. Cette infrastructure utilise un pipeline en cinq étapes, allant de la définition de la scène à la sélection des meilleures paires.

Chaque étape du pipeline est conçue pour traiter un aspect spécifique du processus de détection des match-cuts. Par exemple, la première étape consiste à définir la scène en analysant les données de la vidéo. La deuxième étape consiste à détecter les transitions potentielles de match-cut en utilisant des modèles d’apprentissage automatique. Les étapes suivantes consistent à analyser ces transitions pour identifier les meilleures paires de match-cuts.

Défis du match-cut et traitement parallèle chez Netflix.

Le traitement parallèle et les variations de match-cut sont deux des principaux défis auxquels Netflix est confronté dans son infrastructure d’apprentissage automatique. Le traitement parallèle, qui consiste à traiter plusieurs tâches en même temps, est essentiel pour gérer les volumes de données énormes traités par la plateforme. Cependant, il présente également des défis en termes de gestion des ressources et d’optimisation des performances.

Pour surmonter ces défis, Netflix utilise un cluster de GPU et le système de fichiers MezzFS pour optimiser l’utilisation des ressources informatiques. Le cluster de GPU permet d’accélérer le traitement des données, tandis que MezzFS permet un accès rapide et fiable aux données nécessaires pour l’entraînement des modèles.

Orchestration et gestion des modèles de production

L’orchestration et la gestion des modèles de production sont deux autres défis majeurs auxquels Netflix est confronté dans son infrastructure d’apprentissage automatique. L’orchestration, qui consiste à coordonner et à gérer les différentes tâches et ressources dans le pipeline d’apprentissage automatique, est essentielle pour assurer le bon fonctionnement de la plateforme. Cependant, elle présente également des défis en termes de standardisation et de compatibilité avec les orchestrateurs externes.

Pour surmonter ces défis, Netflix utilise une solution “universelle” qui est conçue pour être compatible avec une variété d’orchestrateurs externes. Cette solution permet à Netflix de gérer efficacement ses modèles de production et d’optimiser l’utilisation de ses ressources.

En plus de l’orchestration, Netflix utilise également le service d’annotation Marken pour interfacer avec les applications, notamment les éditeurs vidéo. Marken joue un rôle crucial dans la gestion des modèles de production en facilitant l’interaction entre les ingénieurs et les applications.

En savoir +

Netflix a réalisé des avancées significatives dans la conception de son infrastructure d’apprentissage automatique pour les contenus multimédias. Avec une série de technologies open source innovantes, une approche basée sur l’apprentissage automatique pour la détection des match-cuts, et une attention constante à l’évolutivité et à l’optimisation des ressources, Netflix a réussi à créer une infrastructure d’apprentissage automatique qui est à la fois puissante et flexible.

L’importance de cette infrastructure pour l’offre de contenu multimédia de Netflix ne peut être sous-estimée. Elle est au cœur de la capacité de Netflix à offrir une expérience de visionnage personnalisée et sans faille à ses utilisateurs. En investissant continuellement dans l’innovation et la recherche, Netflix continue de repousser les limites de ce qui est possible dans le domaine de l’apprentissage automatique et du contenu multimédia.