TECH ACTUS– Suite au chat de Nvidia avec RTX, voici le propre chatbot localisé d’AMD, alimenté par un modèle de langage étendu (LLM) basé sur GPT et nécessitant un hardware relativement nouveau.
En février, nous avons rendu compte de Chat With RTX, qui peut fonctionner localement sur les cartes GeForce RTX 4000 et 3000 de Nvidia à l’aide de TensorRT-LLM, produisant un paquet de données local. Nous en avons maintenant un similaire d’AMD, mais ils ne le font pas seulement fonctionner sur leurs cartes graphiques. Si vous disposez d’un processeur compatible AMD AI, vous n’avez pas besoin de l’une des dernières cartes graphiques Radeon de la série 7000 pour faire fonctionner la technologie.
Les cœurs XDNA NPU (accélérateur MI) peuvent être utilisés dans les APU AMD Ryzen 7000 et 8000, et les cœurs accélérateurs MI peuvent être utilisés dans les cartes Radeon RX 7000. La société a publié un article de blog expliquant comment lancer le chatbot sur votre PC. Téléchargez et exécutez la version appropriée de LM Studio (pour les processeurs AMD Ryzen, pour les cartes graphiques AMD Radeon RX série 7000). Dans l’onglet Recherche, copiez et collez le terme de recherche suivant en fonction de ce que vous souhaitez exécuter. Dans le cas de Mistral 7b, il devrait s’agir de “TheBloke/OpenHermes-2.5-Mistral-7B-GGUF” et sélectionnez-le parmi les résultats à gauche, il y a de fortes chances qu’il soit le premier de la liste. Pour exécuter LLAMA v2 7b, recherchez « TheBloke/Llama-2-7B-Chat-GGUF ». Vous pouvez également expérimenter avec d’autres modèles : dans le volet de droite, faites défiler jusqu’au fichier du modèle Q4 KM et téléchargez-le. AMD le recommande pour la plupart des modèles Ryzen AI. Basculez vers la boîte de discussion et attendez qu’elle démarre.
C’est un peu différent si vous n’avez pas ce processeur et utilisez plutôt une carte graphique AMD Radeon 7000. Dans ce cas, vous devrez sélectionner l’option GPU Offload dans le panneau de droite et l’augmenter au maximum. Vérifiez ensuite que le type de GPU identifié est AMD ROCm. Ensuite, nous pouvons commencer à utiliser le chatbot.
L’intelligence artificielle fait désormais partie de nos vies de toutes sortes de manières, et c’est pourquoi nous assistons à l’expansion de Nvidia et d’AMD.
Source: WCCFTech, AMD, LM Studio, LM Studio ROCm
