Adaptation des connaissances d'un grand modèle de langage à la recommandation pour des applications industrielles pratiques

Thème central

Le document présente le cadre de RECOMMANDATION D'ADAPTATION DE CONNAISSANCE (LEARN) piloté par LLM, qui améliore les systèmes de recommandation traditionnels en incorporant des connaissances du monde ouvert provenant de modèles de langage de grande taille (LLM). Il aborde les limitations de l'ID-embedding et améliore les performances dans des scénarios de démarrage à froid et de longue traîne en utilisant les LLM comme encodeurs d'items, en figeant leurs paramètres pour conserver les connaissances, et en employant une structure à deux tours. Les expériences hors ligne et en ligne sur des jeux de données industriels démontrent l'efficacité de l'approche proposée, montrant des résultats améliorés par rapport aux méthodes existantes dans des tâches comme la récupération basée sur le contenu et la publicité dans les fils de courtes vidéos, conduisant à de meilleures performances et avantages commerciaux.

Carte mentale

TL;DR

Quel problème le document tente-t-il de résoudre ? S'agit-il d'un nouveau problème ?

Le document vise à aborder les défis liés à l'écart de domaine et au désalignement des objectifs d'entraînement lors de l'adaptation de Modèles de Langage de Grande Taille (LLM) préentraînés pour des tâches spécifiques comme les systèmes de recommandation. Il introduit l'approche d'adaptation de la connaissance pilotée par LLM (LEARN) pour synergiser la connaissance du monde ouvert des LLM avec la connaissance collaborative des systèmes de recommandation. Pour déterminer si c'est un nouveau problème, plus de contexte ou de détails sont nécessaires pour fournir une réponse spécifique.

Quelle hypothèse scientifique ce document cherche-t-il à valider ?

Le document cherche à valider une hypothèse scientifique en mettant en œuvre une analyse expérimentale complète par le biais de tests A/B en ligne.

Quelles nouvelles idées, méthodes ou modèles le document propose-t-il ? Quelles sont les caractéristiques et les avantages par rapport aux méthodes précédentes ?

Le document propose le cadre d'adaptation de connaissance piloté par LLM (LEARN) pour agréger efficacement les connaissances du monde ouvert provenant de Modèles de Langage de Grande Taille (LLM) dans les Systèmes de Recommandation (RS). De plus, il introduit les modules CEG et PCH pour aborder le problème de l'oubli catastrophe des connaissances du monde ouvert et combler l'écart de domaine entre la connaissance du monde ouvert et la connaissance collaborative. Explications Contrefactuelles et Semifactuelles dans l'Argumentation Abstracte : Fondements Formels, Complexité et Computation

Ce document plonge dans le domaine du raisonnement contrefactuel et semifactuel au sein des cadres d'argumentation abstraite (AF), en se concentrant sur leur complexité computationnelle et leur intégration dans les systèmes d'argumentation. L'étude définit ces concepts et souligne l'importance d'améliorer l'explicabilité en les encodant dans des AFs à faible contrainte et en utilisant des solveurs ASP. En examinant la complexité de divers problèmes comme l'existence, la vérification et l'acceptation sous différentes sémantiques, la recherche révèle que ces tâches sont généralement plus difficiles que les traditionnelles. La contribution de ce travail réside dans la proposition d'algorithmes et l'exploration d'applications qui peuvent améliorer la prise de décision et la persuasion des systèmes basés sur l'argumentation. Pour une analyse plus approfondie, il est recommandé de se référer aux détails et méthodologies spécifiques décrits dans le document.

Le cadre LEARN proposé offre des améliorations de performance significatives par rapport aux méthodes précédentes, en particulier en augmentant le revenu et les métriques de Taux de Clic (H) et NDCG pour les systèmes de recommandation, comme démontré dans l'étude. Comparé à des méthodes comme SASRec et HSTU, LEARN obtient des améliorations notables dans diverses métriques telles que H@50, H@200, N@50, et N@200, démontrant son efficacité dans les tâches de recommandation. De plus, LEARN aborde l'écart de domaine entre la connaissance du monde ouvert et la connaissance collaborative, offrant une approche plus robuste et adaptative pour les applications industrielles réelles.

Existe-t-il des recherches connexes ? Qui sont les chercheurs notables sur ce sujet dans ce domaine ? Quelle est la clé de la solution mentionnée dans le document ?

Des recherches liées à l'adaptation des connaissances des Modèles de Langage de Grande Taille (LLM) aux systèmes de recommandation pour des applications industrielles pratiques ont été menées. Ces études se concentrent sur l'exploitation de la connaissance du monde ouvert encapsulée dans les LLM pour améliorer les systèmes de recommandation, en abordant des problèmes tels que l'oubli catastrophe et les écarts de domaine entre la connaissance collaborative et celle du monde ouvert. Parmi les chercheurs notables dans ce domaine, on trouve Yabin Zhang, Wenhui Yu, Erhan Zhang, Xu Chen, Lantao Hu, Peng Jiang et Kun Gai. De plus, Qi Zhang, Jingjie Li, Qinglin Jia, Chuyuan Wang, Jieming Zhu, Zhaowei Wang et Xiuqiang He ont également contribué de manière significative à ce domaine. La solution clé proposée dans le document implique l'intégration de la connaissance du monde ouvert des Modèles de Langage de Grande Taille (LLM) avec la connaissance collaborative des systèmes de recommandation pour améliorer la performance des recommandations. Cette approche vise à combler le fossé entre le domaine général du monde ouvert et le domaine spécifique aux recommandations, utilisant les connaissances des LLM pour fournir des informations incrémentielles précieuses aux systèmes de recommandation.

Comment les expériences dans le document ont-elles été conçues ?

Les expériences dans le document ont été conçues en comparant avec les méthodes à la pointe de la technologie précédentes destinées à un usage industriel, en utilisant le jeu de données des Critiques de Livres Amazon 2014 pour l'évaluation afin de se rapprocher des scénarios industriels réels. De plus, une analyse expérimentale plus complète a été mise en œuvre par le biais de tests A/B en ligne afin de valider les hypothèses et d'évaluer les améliorations de performance en CVR et en Revenus par rapport à la méthode de référence.

Quel est le jeu de données utilisé pour l'évaluation quantitative ? Le code est-il open source ?

Le jeu de données utilisé pour l'évaluation quantitative dans la recherche est un jeu de données hors ligne à grande échelle collecté à partir d'un scénario industriel réel. Le code est open source, et le chatbot Vicuna, impressionnant GPT-4 avec 90% de qualité GPT chat, est disponible sur https://vicuna.lmsys.org.

Les expériences et les résultats du document apportent-ils un bon soutien aux hypothèses scientifiques à vérifier ? Veuillez analyser.

Les expériences et les résultats présentés dans le document fournissent un fort soutien aux hypothèses scientifiques à vérifier. Grâce aux tests A/B en ligne et à la mise en œuvre réelle du système de recommandation, l'étude démontre des améliorations substantielles et atteint des performances à la pointe de la technologie sur des jeux de données à grande échelle, dépassant les approches précédentes. La comparaison avec d'autres méthodes et les métriques de performance indiquent clairement l'efficacité et la supériorité de l'approche proposée, validant les hypothèses scientifiques.

Quelles sont les contributions de ce document ?

Le document introduit l'approche LEARN, qui synergise la connaissance du monde ouvert des LLM avec la connaissance collaborative des systèmes de recommandation, abordant les défis de l'écart de domaine et du désalignement des objectifs d'entraînement dans les systèmes de recommandation. Il propose également d'utiliser des embeddings générés par les LLM pour des recommandations basées sur le contenu, montrant l'efficacité de ces embeddings pour améliorer la performance des recommandations.

Quel travail peut être poursuivi en profondeur ?

Un travail supplémentaire peut être poursuivi en explorant l'intégration des Modèles de Langage de Grande Taille (LLM) dans les systèmes de recommandation pour améliorer la performance, en particulier dans les scénarios de démarrage à froid et les recommandations pour les utilisateurs de longue traîne. Tirer parti des capacités des LLM préentraînés sur d'immenses corpus de texte présente une avenue prometteuse pour améliorer les systèmes de recommandation en incorporant des connaissances du domaine du monde ouvert.

En savoir plus

Le résumé ci-dessus a été généré automatiquement par Powerdrill.

Cliquez sur le lien pour voir la page de résumé et d'autres documents recommandés.