INSTRUCTION SUR L’ETABLISSEMENT DES SPECIFICATIONS TECHNIQUES POUR LA FOURNITURE DE MATERIELS INFORMATIQUES – 2005 – n° 051C0025

Bancs d’essai. Dans les cas de marchés de fournitures de serveurs et de stations de travail ou de marchés de fournitures de matériels nouveaux et/ou complexes pour lesquels le critère de la performance du processeur intégré est déterminant, les acheteurs peuvent aussi avoir recours aux bancs d’essais afin de garantir des spécifications techniques conformes à la réglementation. Le résultat chiffré minimal obtenu par ces matériels sur un banc d’essais choisi par le service acheteur constitue alors un critère d’appréciation des offres.

Les procédures de bancs d’essais testent les différents matériels en situation d’utilisation d’une ou plusieurs applications informatiques fonctionnant simultanément. Elles permettent, par simulation assistée par ordinateur des niveaux de progression caractéristiques, d’obtenir par étalonnage, un rapport sur les performances du système informatique pour une ou plusieurs applications considérées.

Ces procédés de bancs d’essais ne sont pas des normes homologuées, mais sont développés pour les domaines d’activités qu’ils précisent, par des organisations regroupant des entreprises informatiques, auxquelles peuvent être associées des universités, des laboratoires, etc. Ces organisations proposent leurs services d’évaluation à titre le plus souvent onéreux. Certains bancs d’essais peuvent être instrumentalisés par certains constructeurs informatiques.

L’acheteur public devra se montrer vigilant, notamment lorsque les bancs d’essais existants qu’il a pu recenser ne lui paraissent pas assez reconnus ou assez représentatifs. Le recours aux bancs d’essais simplifie la rédaction des spécifications techniques puisqu’il dispense de la description de toutes les caractéristiques du matériel informatique, ce qui rend possible l’insertion dans les documents du marché d’une clause ainsi rédigée : « Pour que l’offre soit recevable, les ordinateurs/stations de travail/serveurs proposés seront dotés d’un microprocesseur X 86 ayant obtenu un résultat minimum de valeur chiffrée Z (à fixer par le service acheteur) sur le banc d’essais Y (à choisir par le service acheteur). La configuration des ordinateurs/stations de travail/serveurs pendant les tests devra être la même que celle des matériels qui font l’objet du marché ». L’indication de la mention « microprocesseur X 86 » informe sur le type d’architecture choisi. Une architecture différente peut, le cas échéant, être retenue.

UTILISATION DES BANCS D’ESSAIS

Lorsqu’il décide de recourir aux bancs d’essais, l’acheteur doit porter une attention toute particulière aux éléments suivants :

1 – La définition approfondie des besoins à satisfaire (article 5 du code des marchés publics) par le marché de fourniture de matériels informatiques, devra en particulier prendre en compte :
– la description du matériel à fournir ;
– le(s) domaine(s) couvert(s) par les types d’applications destinées à fonctionner sur les matériels faisant l’objet du marché, notamment pour déterminer le banc d’essais approprié ;
– la liste : des types d’applications appelées à fonctionner sur ce(s) matériel(s) (en précisant celles qui fonctionnent simultanément en conditions normales d’utilisation), . des types d’utilisateurs, des tâches à effectuer, des attentes des utilisateurs en termes de performances… Ces éléments sont indispensables pour le choix par la personne publique du banc d’essais qu’elle retient et selon le cas, l’utilisation de tests reconnus, déjà effectués avant d’être publiés par un banc d’essais, ou la réalisation des tests prévus par un banc d’essais par les candidats déposant des offres.

2 – Le choix du banc d’essais par la personne publique : Un banc d’essais donné peut être plus ou moins adapté à l’objet du marché.

Deux types de cas sont distingués :
– les bancs d’essais publiant des résultats de tests déjà effectués et reconnus par la communauté informatique : le candidat doit alors garantir que les matériels proposés dans son offre atteignent ces résultats ;
– les bancs d’essais mettant à disposition des outils de tests à utiliser par les organismes effectuant ces tests pour les candidats déposant des offres, selon les méthodes du banc d’essais choisi par le service acheteur ; lorsque ces outils prévoient une échelle de performances, il appartient à l’acheteur de préciser le résultat en-deçà duquel l’offre n’est pas recevable.

Il convient d’indiquer la procédure de banc d’essais choisie par catégorie d’ordinateur, serveur ou station de travail, ou par configuration. Les offres seront examinées, notamment sur la base de la note obtenue par le matériel proposé par chaque soumissionnaire aux tests du banc d’essais retenu par la personne publique.

Toutefois, certaines applications ou types d’applications informatiques, notamment dans le secteur des logiciels professionnels à caractère hautement spécialisé, ne sont actuellement référencées par aucun banc d’essais et ne peuvent pas, pour le moment, être ainsi testées. Dans les différents cas évoqués ci-dessus, le service acheteur peut préciser dans les documents de consultation, qu’il constitue son propre jeu d’essais en interne ou avec l’assistance technique d’un cabinet d’experts sélectionné conformément aux règles de la commande publique et publier ce jeu d’essais dans les documents de consultation.

3 – La fixation de la valeur du résultat minimum chiffré que chaque produit faisant l’objet du marché devra au moins obtenir lors des tests qui seront réalisés par l’organisme indépendant.

Les informations générales sur les différentes procédures de bancs d’essais peuvent être recueillies dans les revues informatiques professionnelles ou sur les sites Internet des structures (« Benchmarkers ») qui développent ou commercialisent des bancs d’essais (« Benchmarks »).

Il est recommandé de privilégier les bancs d’essais ayant fait l’objet d’une actualisation récente et qui sont reconnus par la profession. Le nombre, le poids sur le marché et la variété des membres de la structure sont autant de facteurs qui laissent supposer une reconnaissance du banc d’essais par le secteur. Il est préférable d’éviter les bancs d’essais élaborés par un offreur unique, au risque de contestation. Les documents de consultation préciseront que les entreprises ne pourront déposer d’offres que pour les produits ayant atteint le résultat chiffré minimum fixé dans le dossier de consultation, aux tests prévus par le banc d’essais retenu par le service acheteur.

Les documents de consultation préciseront selon le cas, que les candidats :
– soit, garantiront que les matériels proposés dans leurs offres atteignent les résultats obtenus sur le banc d’essais Y choisi par le service acheteur,
– soit, joindront à leurs offres le résultat de chaque test par produit, effectué par un organisme indépendant.

Chaque résultat est un document constitutif de l’offre qui fera partie de l’évaluation effectuée par la personne publique en vue de la sélection du titulaire, et du dossier de la procédure d’instruction en cas de recours juridictionnel contestant la décision de choix du titulaire. Le service acheteur se réserve la possibilité de vérifier les résultats des tests effectués sur les bancs d’essais décrits ci-dessus.