Introduction : Nos équipes de Tower Research Capital ont récemment participé à la 41ème International Conference on Machine Learning, ICML 2024, à Vienne, en Autriche. Nous sommes ravis d’avoir participé et d’avoir pu interagir avec la communauté d’apprentissage automatique, dynamique et en constante évolution, pleine de personnes talentueuses. De l’automatisation du code aux grands modèles de langage (GML), en passant par l’analyse des séries temporelles et l’apprentissage automatique sécurisé, la conférence a offert des perspectives approfondies sur l’avenir de l’IA et de l’apprentissage automatique.

Ramit, responsable mondial de l’IA et de l’apprentissage automatique de base chez Tower, partage ses réflexions de l’ICML 2024 ci-dessous.

Agents de code et automatisation

Les progrès réalisés en matière d’agents de codes et d’automatisation ont été une priorité majeure pour ICML 2024. Parmi ceux-ci, une contribution notable a été NExt : Enseigner aux grands modèles de langage comment raisonner sur l’exécution du code. Cette approche repousse les limites de la façon dont les modèles de langage interagissent avec le code, en utilisant des invites de chaîne de pensée pour guider le modèle à travers les étapes de raisonnement. Il en résulte une compréhension plus approfondie de l’exécution du code, ce qui permet à ces modèles d’effectuer des tâches comme la réparation de code avec une plus grande précision et une plus grande autonomie.

Un autre développement intrigant était « R2e : Transformer n’importe quel dépôt GitHub en un environnement d’agent de programmation ». Ce travail est axé sur la création d’environnements de programmation interactifs dans lesquels les modèles de langage peuvent interagir avec les bases de code existantes, ce qui permet d’exécuter des tâches telles que les tests automatisés, la refactorisation du code et même le développement de fonctions. En transformant les référentiels en environnements dynamiques, R2e ouvre de nouvelles possibilités d’intégration de l’IA directement dans le cycle de vie du développeur de logiciels, améliorant ainsi la productivité et réduisant les erreurs humaines.

Ces avancées représentent un saut significatif dans les capacités des agents de code, en faisant des outils plus puissants pour automatiser et rationaliser les tâches de programmation. Au fur et à mesure que ces technologies évoluent, elles promettent de transformer la façon dont les logiciels sont développés, testés et maintenus, ce qui repousse les limites de ce qui peut être accompli grâce à l’automatisation axée sur l’IA.

Grands modèles de langage

Les GML continuent d’évoluer, en mettant l’accent sur leur capacité d’adaptation et d’efficacité pour une variété de tâches. L’un des domaines notables a notamment été la méthode de transfert adaptatif des fonctions (AFT), qui offre une nouvelle approche de transfert des connaissances entre les modèles. Contrairement aux méthodes traditionnelles qui reposent sur le transfert de poids, AFT fonctionne en transférant sélectivement les fonctions les plus pertinentes pour des tâches spécifiques. Cette approche améliore non seulement l’efficacité des modèles plus petits et ajustés, mais elle renforce également leur performance sur des tâches en aval telles que la classification de texte et l’analyse de sentiment, où la précision et l’adaptabilité sont cruciales. De plus, FrameQuant introduit une technique de quantification flexible et à faible bit qui permet de déployer efficacement des modèles de grande taille, comme CodeLlama-70B, sur du matériel existant avec un minimum de perte de performance.

Séries temporelles

Les séries temporelles ont également été un axe majeur à ICML 2024, avec de nouvelles méthodologies repoussant les limites de ce qui est possible en prévision et en apprentissage de représentation. L’un des modèles les plus remarquables était TimeSFM, un modèle de base à décodeur uniquement pour la prévision des séries temporelles, inspiré par les régimes d’entraînement utilisés dans les grands modèles de langage TimeSFM a montré une performance impressionnante en zéro-shot sur différents horizons de prévision, le rendant particulièrement utile pour des applications comme la prévision financière, où les modèles doivent s’adapter rapidement à de nouveaux motifs sans avoir besoin d’une nouvelle formation. Une autre contribution importante a été **TSLANet**, qui repense l’application des transformeurs aux données de séries temporelles. TSLANet offre une solution plus légère et plus efficace par rapport aux modèles MLCT, montrant un grand potentiel pour les tâches nécessitant un traitement rapide et parallèle, telles que la négociation à haute fréquence et la détection d’anomalies en temps réel. Ces progrès suggèrent que les modèles de séries temporelles deviennent de plus en plus polyvalents et capables, ce qui permet une prise de décision plus rapide et plus précise dans une variété de domaines.

Protection de la vie privée différentielle et modèles sécurisés

La sécurité et la confidentialité en apprentissage automatique ont également été des thèmes clés à ICML 2024, avec un accent particulier sur la confidentialité différentielle et les défis des modèles de formation sur les données privées distribuées. Une contribution remarquable a été l’introduction de Private Evolution-Text (PrE-Text), une méthode de génération de données textuelles synthétiques différentiellement privées. Cette approche répond aux limitations de la formation sur appareil – telles que les ressources computationnelles limitées et la surcharge de communication – en permettant une formation plus efficace et sécurisée hors appareil. Il a été démontré que la technologie PrE-Text surpasse la formation sur appareil traditionnelle sur plusieurs ensembles de données tout en utilisant beaucoup moins de ressources.

Nous avons participé à de nombreuses autres présentations fascinantes à ICML 2024, bien plus que nous ne pourrions partager dans un seul résumé. Des progrès comme ceux-ci nous inspirent à rester concentrés sur l’avenir de l’apprentissage automatique, et nous sommes heureux du potentiel de contribuer à ces développements.

Si vous êtes passionné par l’intelligence artificielle et l’apprentissage automatique et que vous souhaitez explorer des possibilités, nous sommes toujours à la recherche de personnes talentueuses pour se joindre à notre équipe. Communiquez avec notre équipe pour en savoir plus sur les postes à pourvoir chez Tower!