AccueilTechnologie scientifiqueGoogle utilise MLPerf pour démontrer ses performances sur des géants...

Google utilise MLPerf pour démontrer les performances d'une version géante de BERT


Google utilise des concurrents MLPerf pour démontrer les performances globales de la version produit géante du langage BERT (les représentations d'encodeur bidirectionnel de Transformers sont une technique d'apprentissage automatique basée sur des transformateurs pour la formation au traitement du langage naturel développée par Google).

Le monde de l'apprentissage en profondeur de l'intelligence artificielle est obsédé par la taille.

Les programmes d'apprentissage en profondeur, tels que OpenAI GPT-3, continuent d'utiliser de plus en plus de puces GPU de Nvidia et AMD pour créer des programmes logiciels en constante évolution. La précision des programmes augmente avec la taille, affirment les chercheurs.

Voir également: Recherche Google : astuces qui font unνvos demandes

Google BERT MLPerf

Cette obsession de la taille a été détaillée mercredi dans le dernier benchmark de l'industrie rapporté par MLCommons (une organisation mondiale à but non lucratif à but non lucratif dédiée à l'amélioration de l'apprentissage automatique pour tous), qui définit la norme à laquelle les puces informatiques peuvent briser le code d'apprentissage en profondeur.

Google a décidé de ne se soumettre à aucun test standard de référence de deep learning, qui consiste en des programmes bien établis dans le domaine mais relativement obsolètes. Au lieu de cela, les ingénieurs de Google ont présenté une version du programme de langage naturel de Google BERT qu'aucun autre fournisseur n'a utilisé.

MLPerf, la référence utilisée pour mesurer les performances concurrentielles, rapporte les résultats pour deux segments : le segment "Fermé" standard, où la plupart des fournisseurs rivalisent sur des réseaux établis tels que ResNet-50, et le segment "Ouvert", qui permet aux fournisseurs d'essayer des -approches standards.

Voir également: Google : les mineurs de crypto-monnaie piratent des comptes Cloud

Dans la section Ouvrir, Google a montré un ordinateur qui utilise 2.048 4 puces Google TPU, version 19. Cette machine a pu déployer le programme BERT en XNUMX heures environ.

BERT, un réseau de neurones de 481 milliards de paramètres, n'avait jamais été découvert auparavant. Il est supérieur de plus de trois ordres de grandeur à la version BERT standard connue sous le nom de "BERT Large", qui ne compte que 340 millions de paramètres. Avoir beaucoup plus de paramètres nécessite généralement beaucoup plus de puissance de calcul.

MLPerf

Google a déclaré que la nouvelle soumission reflète l'importance croissante de l'échelle dans l'intelligence artificielle.

La suite de tests MLPerf est la création de MLCommons, un consortium industriel qui publie plusieurs évaluations comparatives annuelles pour les deux parties de l'apprentissage automatique.: la soi-disant formation, où un réseau de neurones est créé en améliorant ses paramètres dans plusieurs expériences et la soi-disant conclusion, où le réseau de neurones intégré fait des prédictions lorsqu'il reçoit de nouvelles données.

Le rapport de mercredi est le test de référence final pour la phase d'entraînement. Voici le rapport de juin précédent.

Les résultats complets de MLPerf ont été discutés dans un communiqué de presse sur le site Web de MLCommons. Les détails complets des soumissions peuvent être trouvés dans les tableaux affichés sur le site Web.

Google BERT MLPerf

Selvan de Google a déclaré que MLCommons devrait envisager d'inclure des modèles plus grands. Les réseaux plus anciens et plus petits comme ResNet-50 "nous donnent un seul proxy" pour les performances de formation à grande échelle, a-t-il déclaré.

Ce qui manque, a déclaré Selvan, c'est la soi-disant efficacité des systèmes à mesure qu'ils vieillissent. Google a réussi à exécuter son modèle BERT géant avec une efficacité de 63 %, a-t-il déclaré à ZDNet, mesuré par le nombre d'opérations à virgule flottante effectuées par seconde par rapport à une capacité théorique. Cela, a-t-il dit, était meilleur que le prochain 52% de Nvidia dans le développement du modèle de langage Megatron-Turing développé avec Microsoft.

David Kanter, directeur exécutif MLCommons, a déclaré que la décision des grands modèles devrait être laissée aux membres des Communes de décider collectivement. Il a toutefois souligné que l'utilisation de petits réseaux de neurones comme tests rend la compétition accessible à plus d'endroits.

Voir également: Comment télécharger des fichiers et des dossiers sur Google Drive ?

Au lieu de cela, les tests MLPerf standard, dont le code est accessible à tous, sont une ressource que tout chercheur en intelligence artificielle peut utiliser pour répéter les tests, a déclaré Kanter.

Google n'a pas l'intention de sortir le nouveau modèle BERT, a déclaré Selvan à ZDNet dans un e-mail, le décrivant comme "quelque chose que nous n'avons fait que pour MLPerf". Le programme est similaire aux plans décrits dans une recherche Google plus tôt cette année sur des réseaux de neurones hautement parallèles, a déclaré Selvan.

Malgré les 481 milliards de paramètres du programme BERT, il est représentatif du travail du monde réel car il est basé sur un code du monde réel.

Source d'informations: zdnet.com

Teo Ehchttps://www.secnews.gr
Soyez l'édition limitée.
spot_img

NOUVELLES EN DIRECT