Expérimentations avec l'IA : Mistral pas vraiment au niveau
Je suis toujours à la recherche d'un outil de prise de notes qui corresponde parfaitement à mes besoins et j'avais créé un outil avec l'IA il y a 2-3 mois qui m'a rendu de bons services, mais dont le fonctionnement ne me plaisait pas totalement, notamment la gestion des tâches. J'ai donc redonné une chance à Craft, une application de prise de notes assez connue dans l'univers Apple, avec une bonne gestion des notes et une réflexion autour des tâches et des notes quotidiennes.
L'application Tolaria me faisait aussi de l'oeil, mais il n'existe pas de version iPad et impossible d'installer des applications sur l'ordinateur de bureau.
Je me suis dit que ce fonctionnement avec des notes classiques d'un côté et des notes quotidiennes de l'autre qui contiennent mes tâches du jour et un court compte-rendu de ma journée était un fonctionnement qui pouvait me correspondre. Je me suis donc dit que je pouvais essayer de recréer un outil avec l'IA qui cochait ces cases et au même moment, la nouvelle version de Mistral Medium 3.5 est sortie. Les promesses étaient d'être presque au niveau de Claude Sonnet, adapté au codage par IA et moins cher.
J'ai donc sorti ma carte bleue, donné 20€ pour pouvoir utiliser l'API et Mistral Medium 3.5 dans OpenCode. Après avoir bien réfléchi à mon prompt pour obtenir une version avec des fonctionnalités minimales (éditeur markdown de notes enregistrées dans le navigateur, interface moderne), j'ai lancé le travail... et pas moyen d'obtenir quoi que ce soit de fonctionnel. J'ai eu un nombre de bugs assez impressionnant dans l'utilisation, et les allers-retours avec l'IA ne menaient pas à grand chose à part de nouveaux bugs. J'essayais de garder un oeil sur l'utilisation de l'API de Mistral, mais ce n'est pas très réactif sur la mise à jour de la consommation. Ma banque a été plus rapide à me dire que j'avais été débité de 11€ supplémentaire par Mistral que l'interface de Mistral pour m'indiquer que j'avais dépassé mon budget.
J'étais frustré et en colère, particulièrement déçu du résultat. Dans ce genre de situation, je n'ai pas souvent une grande réflexion, j'ai donc pris un abonnement pro à Claude (soit une vingtaine d'euros). Et le temps d'épuiser mon quota de tokens pour 5h avec Claude Code et le modèle Sonnet, j'ai obtenu un résultat fonctionnel et agréable. Très loin de l'expérience de Mistral. 4 jours plus tard, voulant rentabiliser un peu l'abonnement et les tokens à ma disposition, l'application a bien évolué avec de nombreux ajouts de fonctionnalité pour me faciliter la prise de notes et la gestion de tâches sur plusieurs appareils. J'ai même ajouté des options de personnalisation façon Craft.
Via l'API de Mammouth, j'ai aussi un peu testé le modèle GLM 5.1, que l'on compare aussi à Claude Sonnet, en faisant des prompts ciblés en anglais rédigés avec Gemma, j'ai également obtenu de bons résultats. Parfois de petits bugs, mais que le modèle a su corriger.
Je retiendrai de cette expérience que Mistral n'est pas encore au niveau et l'aspect "souverain" ne suffit pas pour mon utilisation si l'outil n'est pas au niveau.