Workstation LLM en local : Ollama et LM StudioLocal LLM Workstation for Ollama and LM Studio

Faire tourner un modèle de langage en local est avant tout une question de VRAM. Si le modèle quantifie tient entièrement sur la carte, la génération est rapide ; s'il déborde en mémoire système, la vitesse chute d'un facteur important. Le dimensionnement commence donc par une question simple : quels modèles voulez-vous réellement executer, et a quelle quantification ?Running a language model locally is above all a question of VRAM. If the quantised model fits entirely on the card, generation is fast; if it spills into system memory, throughput drops by a large factor. Sizing therefore starts with one simple question: which models do you actually want to run, and at what quantisation?

Estimer la VRAM nécessaire selon la taille du modèleEstimating VRAM needs by model size

En quantification 4 bits, un ordre de grandeur utile consiste a compter environ un demi-octet par paramètre, plus une marge pour le contexte. Un modèle de 7 à 8 milliards de paramètres tient ainsi autour de 8 Go de VRAM, un modèle de 30 milliards autour de 24 Go, et un modèle de 70 milliards demande couramment 48 Go ou plus. Ces valeurs sont indicatives et varient selon le format et la longueur de contexte retenue.At 4-bit quantisation, a useful order of magnitude is roughly half a byte per parameter, plus headroom for context. A 7 to 8 billion parameter model therefore fits in around 8 GB of VRAM, a 30 billion model around 24 GB, and a 70 billion model commonly needs 48 GB or more. These figures are indicative and vary with the format and context length you choose.

7 à 8 milliards de paramètres : environ 8 Go en 4 bits

30 milliards : autour de 24 Go de VRAM

70 milliards : couramment 48 Go et plus

Prévoir une marge pour le contexte et le cache d'attention

7 to 8 billion parameters: around 8 GB at 4-bit

30 billion: roughly 24 GB of VRAM

70 billion: commonly 48 GB or more

Allow headroom for context and the attention cache

Bande passante mémoire et vitesse de générationMemory bandwidth and generation speed

A quantification égale, la vitesse de génération dépend surtout de la bande passante mémoire du matériel qui héberge le modèle. C'est pourquoi une carte graphique, dont la mémoire est bien plus rapide que la DDR5 du système, produit un débit sans commune mesure avec une exécution sur processeur. Le déport partiel de couches vers la mémoire système, propose par Ollama et LM Studio, fonctionne mais réduit fortement le débit.At equal quantisation, generation speed depends mainly on the memory bandwidth of whatever hosts the model. That is why a graphics card, whose memory is far faster than system DDR5, delivers throughput on a different scale from CPU execution. Offloading some layers to system memory, offered by Ollama and LM Studio, works but sharply reduces throughput.

La bande passante mémoire fixe le débit de génération

Déport partiel vers la RAM possible mais penalisant

Exécution processeur envisageable pour de petits modèles seulement

Deux cartes possibles pour répartir un modèle volumineux

Memory bandwidth sets generation throughput

Partial offload to system RAM works but costs speed

CPU execution is viable for small models only

Two cards can split a large model across their memory

Configuration type et usages en entrepriseTypical configurations and business use cases

Pour un usage individuel avec des modèles de 7 à 14 milliards de paramètres, une carte de 16 Go et 32 Go de mémoire système suffisent. Pour faire tourner des modèles de 70 milliards ou servir plusieurs utilisateurs, il faut viser 48 Go de VRAM et une plateforme à nombreuses lignes PCIe. Prévoyez un SSD NVMe généreux : une bibliotheque de modèles occupe rapidement plusieurs centaines de gigaoctets.For individual use with 7 to 14 billion parameter models, a 16 GB card and 32 GB of system memory are enough. To run 70 billion parameter models or serve several users, target 48 GB of VRAM on a platform with plenty of PCIe lanes. Plan a generous NVMe SSD, since a model library quickly occupies several hundred gigabytes on disk.

Usage individuel : 16 Go de VRAM, 32 Go de RAM

Modèles de 70 milliards ou multi-utilisateurs : 48 Go de VRAM

SSD NVMe généreux pour la bibliotheque de modèles

Solution pertinente si vos données ne doivent pas sortir

Individual use: 16 GB of VRAM, 32 GB of system RAM

70 billion models or multi-user serving: 48 GB of VRAM

Generous NVMe SSD for the model library

Relevant when your data must not leave the premises

Repères de configurationConfiguration guidance

Carte graphiqueGraphicsNVIDIA RTX 16 Go en usage individuel, 48 Go et plus sur gros modèles

Mémoire viveSystem memory32 Go en usage simple, 128 Go si déport partiel de couches

ProcesseurCPUAMD Ryzen 9 ou Threadripper selon le nombre de cartes visees

Lignes PCIePCIe lanesPlateforme permettant deux cartes en pleine largeur

Stockage modèlesModel storageSSD NVMe haute capacité pour la bibliotheque de modèles

RefroidissementCoolingFlux d'air adapté a une inférence prolongée et silencieuse

ValidationValidationTest de charge d'inférence prolongée, garantie S2I

Repères indicatifs : la configuration finale est validée avec vous selon vos contraintes réelles (charge, budget, environnement).Indicative guidance: the final configuration is validated with you against your real constraints (workload, budget, environment).

Questions fréquentesFrequently asked questions

Quelle carte pour faire tourner un modèle de 70 milliards ?Which card runs a 70 billion parameter model?

En quantification 4 bits, il faut couramment 48 Go de VRAM ou plus, ce qui suppose une carte professionnelle à grande mémoire ou deux cartes réparties. En dessous, il faut deporter des couches vers la mémoire système et accepter une chute importante de la vitesse de génération.At 4-bit quantisation, you commonly need 48 GB of VRAM or more, which means a large-memory professional card or two cards sharing the load. Below that, you must offload layers to system memory and accept a substantial drop in generation speed for every request.

Peut-on faire de l'inférence sans carte graphique ?Can inference run without a graphics card?

Oui, pour de petits modèles et avec une patience certaine. La bande passante de la DDR5 système reste très inférieure a celle de la mémoire d'une carte graphique, ce qui limite fortement le débit. C'est utilisable pour du test, rarement satisfaisant pour un usage quotidien.Yes, for small models and with a degree of patience. System DDR5 bandwidth remains far below that of graphics memory, which heavily limits throughput. It is workable for testing, but rarely satisfying for daily use where response latency matters to the user.

Pourquoi installer un LLM en local plutôt qu'en ligne ?Why run an LLM locally rather than online?

Principalement pour la confidentialité : vos documents et vos données ne quittent pas votre infrastructure. S'y ajoutent l'absence de facturation a l'usage et la maîtrise des versions de modèles. S2I dimensionne la machine selon les modèles que vous visez ; devis via la page contact.Mainly for confidentiality: your documents and data never leave your own infrastructure. Added to that are the absence of usage-based billing and full control over model versions. S2I sizes the machine around the models you target; quotes via the contact page.

Un besoin précis à chiffrer ?A specific need to quote?

Décrivez votre contexte : nous revenons sous 24 à 72 heures avec une approche et un devis.Tell us your context: we come back within 24-72 hours with an approach and a quote.

Parler à un expertTalk to an expert Voir nos expertisesSee our expertise