CET OUTIL OPEN SOURCE COMPRESSE VOS TOKENS AVANT QU’ILS ATTEIGNENT LE LLM, ET ÇA CHANGE TOUT
Un ingénieur de Netflix a créé un outil open source qui compresse les tokens envoyés aux LLM avant qu'ils n'atteignent le modèle, sans perte d'information. Résultat : 700 000 dollars économisés en quelques mois, et un questionnement profond sur la façon dont on alimente les IA.
