Documentation Parsyn

Faites du fine-tuning de modeles de langage a vos conditions. Utilisez vos propres GPU ou les notres. Gardez le controle total sur vos donnees et votre pipeline d'entrainement.

Qu'est-ce que Parsyn

Parsyn est une plateforme de fine-tuning de grands modeles de langage. Vous chargez un dataset, choisissez un modele de base, configurez vos parametres d'entrainement, et Parsyn s'occupe de l'orchestration, du suivi en temps reel, du checkpointing et de l'inference.

Ce qui distingue Parsyn, c'est le modele de calcul. Vous avez deux options :

• Utiliser la flotte GPU de Parsyn : Aucun materiel a gerer. Choisissez un type de GPU, payez avec des credits, et lancez l'entrainement. La plateforme gere l'infrastructure.
• Apporter vos propres GPU : Installez le worker Parsyn sur vos machines. Elles se connectent a la plateforme et recoivent les taches automatiquement. Vous gardez le controle total sur votre materiel.

Les deux options fonctionnent via la meme interface. Vous pouvez meme les combiner : entrainer sur vos propres GPU pendant les heures de bureau et deborder sur la flotte Parsyn quand vous avez besoin de capacite supplementaire.

A qui s'adresse Parsyn

• Data scientists et ingenieurs ML qui veulent faire du fine-tuning de modeles ouverts (Llama, Mistral, Phi, etc.) sur des donnees proprietaires sans ecrire toute l'infrastructure d'entrainement.
• Equipes disposant de GPU qui cherchent une plateforme centralisee pour gerer les jobs d'entrainement, les datasets et les modeles a travers leurs machines.
• Entreprises sans GPU qui souhaitent faire du fine-tuning sans configurer manuellement des instances GPU dans le cloud. Facturation au credit, sans engagement.
• Equipes de recherche qui ont besoin de runs d'entrainement reproductibles avec suivi complet des parametres, gestion des checkpoints et outils d'evaluation.

Comment ca fonctionne

La plateforme suit une architecture hub-and-spoke. La plateforme Parsyn est le hub : elle stocke toutes les metadonnees, coordonne les workers et sert le dashboard. Les workers sont les spokes : ils assurent le calcul GPU.

┌─────────────────────────────────────────────────────┐
│           Parsyn Platform (parsyn.progatis.com)       │
│                                                       │
│   Dashboard, API, orchestration des jobs, billing,   │
│   suivi en temps reel, stockage datasets/modeles     │
│   PostgreSQL + Redis + S3                            │
└───────────────────────┬───────────────────────────────┘
                        │ WebSocket (bidirectionnel)
          ┌─────────────┼─────────────┐
          │             │             │
   ┌──────▼──────┐┌────▼──────┐┌─────▼────────┐
   │ GPU Parsyn  ││ Votre GPU ││ Votre GPU    │
   │ (gere)      ││ Serveur A ││ Serveur B    │
   │ Credits/h   ││ (gratuit) ││ (gratuit)    │
   └─────────────┘└───────────┘└──────────────┘

Les workers sont stateless. Si un worker se deconnecte (probleme reseau, redemarrage de la machine), la plateforme le detecte via les heartbeats manques. Les checkpoints d'entrainement sont sauvegardes sur S3, donc aucune progression n'est perdue.

Workers Parsyn vs. vos workers

Fonctionnalites principales

Entrainement

• Fine-tuning standard et entrainement d'adaptateurs LoRA/QLoRA
• Federated learning sur plusieurs workers
• Checkpointing automatique avec stockage S3
• Mixed precision (fp16/bf16) et gradient accumulation
• Streaming de metriques en temps reel vers le dashboard (loss, learning rate, utilisation GPU, ETA)
• Assignation intelligente des workers basee sur les benchmarks GPU
• Presets d'entrainement pour une configuration rapide
• Pipelines d'entrainement : workflows multi-etapes automatises (entrainer → evaluer → exporter)

Gestion des datasets

• Formats JSONL, CSV et Parquet
• Upload multipart pour les fichiers jusqu'a 10 Go
• Validation automatique, statistiques et detection de schema
• Outils integres de split, deduplication, conversion de format et normalisation
• Generation de donnees synthetiques via LLM (generation, augmentation, paraphrase, filtrage)

Gestion des modeles

• Import depuis HuggingFace Hub par identifiant de modele
• Upload de modeles personnalises (safetensors, checkpoints PyTorch)
• Suivi des versions a travers les runs de fine-tuning
• Pipeline post-entrainement : merge LoRA, quantization (4-bit, 8-bit)
• Export vers des formats d'inference optimises (GGUF, ONNX, GPTQ, AWQ)

Inference et evaluation

• Interface de chat integree avec streaming des reponses
• Comparaison A/B de modeles
• Mode arena avec classement ELO
• Evaluation automatisee (perplexity, metriques personnalisees)
• Suites d'evaluation structurees avec jeux de prompts et scoring compare

Operations

• Plans d'abonnement avec quotas + facturation au credit (Stripe)
• Notifications multicanal (email, Slack, Telegram, Teams)
• Gestion de la flotte de workers avec cles d'enrolement maitre
• Panneau d'administration avec gestion des roles
• Authentification a deux facteurs (TOTP, email, codes de secours)
• Organisations et equipes avec isolation au niveau projet

Stack technique

Prochaines etapes

• Demarrage rapide pour lancer votre premier entrainement en moins de 10 minutes
• Concepts fondamentaux pour comprendre comment les datasets, modeles, jobs et workers s'articulent
• Installation d'un worker pour connecter vos propres machines GPU a la plateforme