TECH ACTUS – Nvidia a renforcé son écosystème d’IA, et toute personne possédant une carte graphique relativement nouvelle peut désormais essayer le chatbot.
Chat With RTX est disponible pour les PC Windows et est alimenté par TensorRT-LLM. Il ne nécessite pas de connexion Internet, vous pouvez donc toujours accéder au chatbot GPT personnalisé sur votre PC si vous disposez d’une carte graphique GeForce RTX 3000 ou 4000. (Vraisemblablement, les GPU des stations de travail RTX A-series et RTX Ada-series sont pris en charge ; le RTX 2000 apparu dans l’actualité d’hier est certainement pris en charge, car il mentionne également TensorRT-LLM !)
Nvidia utilise TensorRT-LLM et le logiciel Retrieval Augmented Generation (RAG). Ceux-ci ont été annoncés par l’entreprise l’année dernière et peuvent être joints par l’utilisateur à un ensemble de données local (format de fichier .txt, .pdf, .doc, .docx, .xml) pour être lié par exemple à des données. le Mistral ou Llama 2 Large Language Model (LLM). Certains liens (par exemple des vidéos YouTube ou des playlists) peuvent également être ajoutés pour améliorer les résultats de recherche dans la base de données. Ensuite, nous pouvons utiliser Chat With RTX de la même manière que ChatGPT : nous pouvons faire des requêtes, et comme les résultats sont basés sur les ensembles de données fournis, nous pouvons obtenir de meilleures réponses.
Toutes les données et tous les projets sont stockés localement (mais cela peut prendre beaucoup de place, alors soyez prudent !), pas dans le cloud. Cela permet de gagner du temps et conduit à des résultats plus précis. RAG est l’une des techniques qui accélèrent les accès de l’IA avec le répertoire local, et nous pouvons profiter des capacités d’interprétation linguistique de LLM pour rendre nos accès plus précis. Nvidia affirme que les gains de performances sont quintuplés avec TensorRT-LLM v0.6.0 qui arrivera plus tard ce mois-ci, qui prendra en charge les LLM Mistral 7B et Nemotron 3 8B.
Ainsi, la configuration système requise est que vous exécutez Windows 10 ou Windows 11 et que vous disposez d’une carte Nvidia à architecture Ampere ou Ada Lovelace dans votre PC. Une fois que vous avez cela, vous pouvez commencer à mettre à jour le pilote (le plus récent sera le mieux, cela optimise également le fonctionnement de TensorRT-LLM), puis vous pourrez télécharger l’application Chat With RTX en un rien de temps.
