Echecs le Test appliqué aux Machines: 


Introduction/ Presentation 

On se demande toujours quel est le niveau réel des machines, et dans quelles parties du jeu, elles sont le plus efficace ( c'est d'ailleurs aussi vrai pour  les humains d'ailleurs). Le Niveau peut être facilement indiqué par une série de match contre d'autres adversaires ( humains ou non ) mais il est déjà plus difficile d'avoir un jugement objectif sur les différentes forces et faiblesses d'un joueur ( ou d'un programme. J'ai donc décidé de faire un petit test en utilisant le livre de Igor Khmelnitsky "Echecs : Le Test", qui sert normalement à évaluer le niveau d'un joueur dans différents domaines.


Normalement ce test sert à donner une évaluation (fiable il parait ) du niveau d'un joueur ( en Elo FIDE) mais ce n'est pas le but recheché ici. En effet le niveau des machines est déjà connu et je veux simplement voir dans quel compartiment de jeu les machines sont plus efficaces et ceux où elles ont des faiblesses. Je dois avouer qu'avant de faire ce test je me posais des questions sur sa pertinence, mais que les tests sur le REBELL semble en tout cas intéressant..

Méthodologie:  j'ai pris les 30 premiers tests du livre de Khmelnitsky, et je les ai fait passer à une machine (REBELL 5.0 pour être précis). L'idée est souvent de savoir si le joueur comprend la position et s'il a vu les bonnes variantes/menaces ce qui permet de donner des points suite à la résolution d'un test donné. Il faut donc parfois lancer plusieurs fois le tests en inverant les couleurs , en regardant les réponses de la machine, et en essayant d'interpreter ses réponses, et en essayant d'autres variantes pour le tester jusqu'au bout..

We are always not sure about the real level of a machine, and more important about the playing style. The level can be evaluated with Man vs Machine or Machine vs Machine Match, but giving a good evaluation of the playing style is moredifficult.

So i decided to apply a test method to check human chess player skill. This test is gives the  skill of a player on several domains. In fact this is the test developped by  Igor Khmelnitsky

I apply this test to REBELL , and as the result seems quite realistic, compare to the comments given on various forum,  so i continue  with other dedecated machines.

To run this test i am using the first 30 diagrams found in Khmelnitsky's book. Each machine was given 2-3 minutes to solve the problem, of course i have on several test to restart and try alternative, only to check if the Dedicated Machine "understands" really the position ( or to be more precise, plays as if it understand the position).



Les différents domaines testés /  Tests capabilities :

Les finales : Une phase de jeu à laquelle on apporte peu de préparation. Et c'est pareil pour les machines. La maitrise des finales fait appel à des connaissances théoriques, des principes stratégiques, des idées tactiques et de bonnes capacités de calcul... C'est souvent un point faible des machines, qui ne brillent pas souvent dans ce domaine. En effet les positons qui interviennent requierent souvent des calculs profonds au dela de l'effet horizon des machines.

Le Milieu de Jeu : Réussir le milieu de jeu, la phase la plus décisive e la partie nécessite de combiner le meilleurs des nos qualités en Tactiques et en Stratégie. Généralement on commence par suivre des plans typiques, puis très vite il va falloir décider s'il vaut mieux défender ou attaquer. Le point fort des machines et la phase la mieux gérée en général. L'importance de la tactique expluqe cela.

Les finales théoriques: certaines finales sont déjà analysées et doivent être connues. Cette connaissance permet de faire les bonnes tansitions en finale ou bien à les éviter. Pour un humains les finales théoriques c'est beaucoup de par-coeur! La aussi , comme les finales , cette phase de la partie est souvent un point faible. Ces finales impliquent peu de matériel mais sur des lignes très longues.

Les ouvertures: bien commencer la partie est important, il s'agit plus de comprendre pourquoi on joue tels ou tels coups et leurs implications. Dans le test il y a quelques positions issues directement de l'ouverture pour savoir si on arrive à gerer correctement cette phase une fois sorti de la théorie. Ce point est peut êtr le mieux gérer par les machines car toutes disposent de bibliothèque d'ouverture assez étendues, mais il est important pour voir si une ofis sorties de leur bibli, les machines savent quoi faire. POur beaucoup de machines , gérer la  phase d'ouverture est difficile une fois qu'elles sont sorties de leur bibli.

le Calcul: Principalement cela consiste à savoir anticiper les coups de l'adversaires. Ce critère s'intéresse principalement au calcul des variantes. La lupart du temps les machines sont fortes en ce domaine.

La Stratégie: Normalement à chaque fois que l'on joue un coup , on devrait avoir une raison de le faire. C'est le Plan. L'élaboration d'un plan permet de savoir quoi jouer quand il n'y a pas de variantes forcées. Pour forger un plan il faut affuter sa capacité à évaluer une position, apprendre à développer des plans à courts et longs termes, dévoiler ceux de votre adversaires, et identifier les coups candidats appropriés. Pour les machines évidemment ce critère constitue souvent une faiblesse. Les machines doivent calculer le plus loin possible pour simuler un plan . Il est à noter que un plan peut être constitué de plusieurs plans plus petits , qui constituent un plan d'ensemble. L'un des points faibles des machines, car la stratégie requiert soit de très bonnes connaissances échiquéennes, soit une vision à long terme qui manque aux machines. Pour les machines les plus récentes les faiblesses sont moins prononcées. En fait ce critère indique un bon jeu positionnel et lié à une grande profondeur des calculs, cela représente l'élaboration d'un plan.

la Tactique: Les coups explosifs et spectaculaires ammènent à des variantes souvent forcées, et sur des lignes assez brèves. Au coeur de toute combinaison se trouve un motif tactique. Savoir les reconnaitre c'est savoir profiter de tout le travail préliminaire accompli. L'identification des motifs tactiques est le domaine testé par cette partie du test. Incontestablement le point fort des machines, même si certaines d'entre elles, qui utilisent la recherche sélective, ne voient pas certains types de motifs tactiques impliquantla sécurité du roi.


L'Attaque :  La Capacité à partir d'une position donnée à identifier les cibles et à lancer la bonne attaque. L'attaque n'est pas une menace dans la mesure où il s'agit d'une opération à long terme , au cours de laquelle les forces doivent être regroupées. L'attaque est donc typiquement une opération stratégique. Au cours de la partie , les questions les plus dures auquelles le joueur est confronté sont :
Quand attaquer ? Que faut il attaquer ? et Ou attaquer ?
Les machines ne sont en génaral pas à l'aise dans ce domaine qui requiert une vision à long terme et donc les objectifs potentiels sont hors de portée des machines à cause de l'effet horizon.

la Contre-Attaque: La capacité , lorsque l'on est en défense, à trouver des ressources pour inverser les rôles. Une Contre-Attaque mal préparée entraine souvent la chute du camp qui la lance. Lorsque l'on est attaquer il faut savoir défendre patiemment et habilement, et dès qu'une occasion se présente, il ne faut pas la manquer ! Souvent il se peut que ce soit la dernière chance ! Ca peut paraitre étrange à première vue, mais c'es ten fait tout à fait normal. Ce point est souvent un point fort des machines. Lorsqu'un joueur attaque, il crée forcément des faiblesses dans son propre jeu . Il envoie des pièces à l'attaque, qui ne peuvent donc plus dfendre, il réduit le contrôle de certaines cases clés, ou encore ouvre des lignes ou des colonne pour permettre à l'autre de trouve du jeu. Les Faiblesses dans le jeu de l'attaquant sont donc plus facilement detectables par la machine.

La Défense: Si la positoin est inférieure le joueur doit passé en défense , et chercher des possibilités agressives par la suite. La défense n'est pas passive et doit rester dynamique. La capacité à trouver les coups précis pour se défendre permet souvent de sauver des situations difficiles! La défense pure consiste à mobilisr ses pièces pour ralentir ( voire stopper ) l'attaque. La prophylaxie met l'accent sur la surprotection despoints clé afin de décourager d'éventuelles attaques. On peut aussi utiliser les échanges de pièces pour se défendre et casser l'attaque adverse. De même que pour la contre attaque les objectifs de l'attaquant sont facilement vu par la machine qui défend et donc elle peut prendre facilement des mesures préventives. Les machines sont donc en général fortes en défense.

Les Sacrifices: La capacités à sacrifier du matériel pour obtenir des compesations soit dynamiques soit statiques. Le sacrifice modifie l'équilibre matériel, soit temporairement si on compte récupérer le matériel,  soir de manière définitive si on cherche d'autres types de compensations! Là encore les machines vont souvent avoir du mal à envisager des sacrifices pour obtenir des compensations, et les coups qui y conduisent  sont même souvent   écartés lors des calculs.

Identifier les menaces : Les Echecs sont une guerre et pour parvenir à ses buts un joueur doit gagner suffisemment de matériel pour forcer l'abandon, ou organiser une attque directe contre le roi. Au cours de la partie, les adversaires créent tous les deux des menaces, soit conter les pièces, soit contre le Roi. Pour Gagner il faut donc être capable de reconnaitre les menaces de votre adversaire, et apprendre à les parer. UNe menaces peut être tactique ( pour gagner du matériel)  ou stratégiquev( pour détruire la structure de pions, pour controler une colonne...) . Les machines ne sont pas à l'aise dans ce domaine, car peu d'entre elle sont capable de donner du matériel pour obtenir un avantage positionnel.

Endgame : A phase where player often don't take care ( if we compare with the opening or middle game) and this is the same for the  machines. Mastering the endgames requires teorical knowledges, strategic capability, tactl, and good capabilities for calculation. This skill iss generally a weakness of the machines, as it required a deep calculation beyond the capabilities of most machines.

Middle Game : This is the more decisive part of the game. Nearly 70%  of the game are solved during this phase. This phase requires tactical and strategical capability. Generally humain players follow basic plan, but quicly the players have to decide if they have to attack or to concentrate in defense. This skill is generally one of the strongest for most machines compared to Opening and end-game.

Theoric Endgame: Some endgame are really deeply analyse and must be known by every player. Those knowledge enable the player to transpose correctly in good end game.! As for the end-game, this skill is

Opening : This is a very important phase of the game, as it enable a player to  achieve a "good" position in the middle game. During this phase , the main concern of a player is to understand why he have to follow a variation or another, to be able to play correctly in the opening even if we are outside known path. For some engines, this skill is a weakness , as soon as it leave his opening  book. Other engine may handle the phase correctly


Calculation: Mainly this is the skill to anticipate opponent's moves.

Strategy: During a game, when we play a move we should have a good reason to play it ! Developing a plan enable the player to find the good move in positions without combinative motive.
The player have to enhance his skills in evaluation of a position, elabooration of short term plan ( and after long term planification can be mastered) , reveal opponent's plan , and finally find candidate moves. Often a weack point for weak machine or older one. The weakness seems to be reduced with newer machines. For machine this criteria is in dicating the positional style of play conbined to the depth of the calculation.

Tactic : Some tremandous move can lead to forced variation, generally  short. At the source of those move , there are combinatives motives.To master the tactic in chess , the player have to know as many motive as possible to be able to gain benefit for all efforts previously done during the game. Very Often this is a strong point. Some machine with selective search  may suffer great weackness for some combinaison which imply the King Safety.

threat : Threats identification enable a player to take counter opponent's threat, and to create his own attack. Threats can be of different sort,  straegical or tactical, and can occur during any phase of the game. Often this is a strong point for machine , as the oppennet objective may be clear and often do not require a much deeper analysis.

Attack :  This is mainly the ability to identify a target, and to prepare his force to reach it. This is not a threat , as this is mainly a long term operation, where the force have to be regroup. This is basically a strategic skill. For machine this is often a weackness as the goal may be far away , requiring a deep analysis.


Counter-Attack: The capability , where we are under attack , to change the course of the game and to launch his own attack! A bad couter attack generally leads to severe defeat!  Not so strangely this skill is often one of the strongest point for machine. When his opponent is atatcking , he must create some obvious weackness in his position  ( open line or column, reduce control over critival square, or just launching all his pieces on attack the, leaving defense). So the created weakness become obvious objectives for the machine.

Defense: In bad position a player should be able to hold, and only after to found a way to more agressive path. The Defense should not be passive and must stay dynamical ( to be able to launch a counter-attack) . This skill enable the plyer to save very difficult position.As for counter-attack, the defense is a strong point for machine. The player aims weackness of the machine , and generally the objective can be reach with a short analysis.


Sacrifice: This skill is mainly the capability of a player to give material to get other adantage ( mobility , space, strong attack). The sacrifice is called speculative if the goal of the sacrifice is not to recover material later but to get positional advantages. One one the machine greatest weackness .... Few machine can give vonluntary some materials to get a positionnal advantage.

Conclusion générale / conclusion


Comme il a été remarqué lors des bancs d'essai des machines lors de leunr introduction sur le marché, les premières machines avait surtout des faiblesses en finales, et qu'un joueur arrivant à cette phase pouvait espèrer ( contre les plus vieilles machines) encore obtenir un bon résultat. Le domaine de la stratégie était aussi une faiblesse, car cela necessitait de calculer loin , une compétence hors de portée des machines, qui avaient donc aussi du mal à mettre au point ( et en oeuvre ) un plan d'attaque cohérent. C'est ce qui explique que les stratégies anti ordinateur consistaient surtout à bloquer le jeu. Les Machines ont de plus tendance  à  considérer le matériel comme très important  par rapport à la position.
Par contre il a aussi été noté que les machines étaient très forte en général dans le domaine tactique, et en défense et en contre attaque. Leur capacité de calcul permettant de contrer les attaques de leur adversaire et de profiter des faiblesses induites.

Ces caractéristiques très marqués chez les machines anciennes , se sont atténuéesavec les temps, même si elles restent en général vrai pour les machines dédiées. A l'inverse les programmes actuels, sur les meilleures processeurs, calcul trop profondémenet maintenant pour que l'on puisse dire qu'il ne font pas de plan.


Voici ci dessous les résultats pondérées des 13 machines que j'ai testé. On peut voir en effet que la défense, la detection des menaces  et la tactique restent le point fort des machines , et quealors que le milieu de partie est bien joué,  les finales ne sont pas leur phase préférée.
A l'inverse, si les machines sont bonnes en contre attaque, l'Attaque proprement dite reste une faiblesse, ce qui peut faire paraitre certaines machines comme passives. Le score faible en sacrifice indique aussi que les machines restent très matérialistes.

As any tester considers in the different review, the first chess machines, were weak in end game, and a player can still hope to save an difficult position during this phase. The machine were weak in stratagy too, because this skill requires to deep calculation  , far beyond the capability of the machines. This explain the anti computer strategy of closing the position.
The machine strength rely primilary on the Tactical skill, and the defense ( and counter attack because the opponent have to open the position to launch his own attack).

Below you can check the average of the  pondered rating of the tested machines ( 13  machines tested so far)

44 51 80 45 41 49 57 74 34 54 69 36
Finale Milieu
de Jeu
Ouverture Calcul Finales
Théoriques
Stratégie Tactique Menace Attaque Contre
Attaque
Défense Sacrifice

Graphe avec la moyenne des résultats de toutes les machines



La Famille de Rebell

Ed Schroder a construit sa ligne de produit principalement sur le programme REBELL. Le REBELL 5.0 a été une bonne nouvelle lors de sa sortie, mais il a légèrement décu à cause de performance en finale décevante .

Dans le COMPUTER CHESS REPORT de 1988, Larry Kaufman écrivait :
"Je voudrais faire le  point  sur les programmes de Scrhroder ( MMIII, MM IV et MM V) en ce qui concerne leur mauvais résultats dans les tests tactiques par rapports aux autres programmes, et en ce qui concerne un certain aveuglement pour des combinaisons de mat assez évidentes.
Ils battent souvent des programmes tournant sur des Hardware similaires avec des marges assez importantes (2-1), et semble aussi très performant contre les humains, ce qui peut sembler difficile à expliquer. Je crois que l'explication tient au fait que ces programmes ne choisissent pas des premiers coups candidats à priori mauvais, cela concerne particulièrement les sacrifices semblant douteux, qui fonctionnent d'ailleurs assez rarement lors de parties réelles , mais qui sont souvent les bonnes solutions dans les tests tactiques.Ainsi les programmes gagnent un niveau de profondeur supplémentaire en analyse, et même si ce choix peut entrainer parfois  un aveuglement,  lors d'une partie réelle , le fait de gagner un trait supplémentaire dans l'analyse, permet souvent de gagner plus de jeu que l'aveuglement ne peut en faire perdre.  "

Finale Milieu
de Jeu
Ouverture Calcul Finales
Théoriques
Stratégie Tactique Menace Attaque Contre
Attaque
Défense Sacrifice
Rebell 28 45 100 21 0 57 64 71 21 55 72 32
Mephisto MM V 38 41 99 38 49 45 47 74 14 54 77 23
Mephisto MM IV 40 46 86 29 52 47 53 70 23 48 76 31

Le  REBELL 5.0 : un fort tacticien et un bon défenseur

REBELL 5.0 est une machine datant de 1985 et jouant à un niveau d'à peu près 1900. Lors de sa sortie, les utilisateurs s'étaient plaints de son niveau et tout particulièrement en finale.
Pour le Test j'ai  donné à REBELL 5.0 deux minutes par coup pour sa réflexion, et dans de nombreux cas , j'ai essayé de comprendre ses décisions en lui faisant jouer la suite.

 :

Le REBELL est un programme fort en tactique . Mais qui a des problèmes dans le calcul des variantes ( comme Lary Kaufman l'a remarqué , le REBEL est donc capable de louper des coups lors de ses calculs).  Il saura aussi bien se défendre. Par contre il pêche  un peu pour mettre au point des plans d'action ( identifier des cibles et monter des attaques) et dans les finales. Donc dans les positions qui requiert des calculs en profondeur le REBELL n'est pas à l'aise. C'est donc sur ce plan qu'on peut le surclasser.
Il aut aussi noter que sa force en finale est en plus réduite par ses contre performances dans les finales théorique où il a l'air complétement largé!

Le MM IV : un Rebel amélioré dans la gestion des finales et dans le montage de plan à long terme

Le MM IV est visiblement une amélioration du REBELL dans tous les domaines , mais surtout dans la gestion des finales, le calcul des variantes et enfin l'attaque dans une moindre mesure.Le MM IV excelle toujours dans la défense, mais le programmeur a profiter de cette veriosn pour améliorer son produit.
Le MM IV est un REBEL amélioré dans tous les domaines de manières assez équilibrée, et il a un  style de jeu assez similaire.

Le MM V : une amélioration du Rebel, mais un style qui reste très proche et sans doute moins actif


Le Mephisto MM V est une version réputée plus tactique que le MM IV . En effet sa force résidant surtout dans la détection des menaces,  le MM V a un profil qui ressemble beaucoup à celui du REBEL même s'il est légérement moins équilibré. S'il accuse  toujours des faiblesses en Attaque, et en sacrifice( où aucun progrès n'a été fait, voir même le MMV serait moins à l'aise que le REBEL ) . il est néanmoins relativement plus à l'aise en finale et en calcul que le Rebell (ces deux points constituant de véritables faiblesse de ce dernier).

Le MM V est un MM IV plus dur en défense , mais aussi moins entreprenant en attaque sur le long terme. Attention aussi il est plus à l'aise dans le calcul des variantes !

The Rebell Family : from Rebel to Nigel Short ( Ed Schroder)

Ed Schroder's main line of program is base on REBEL. When the REBELL 5.0 vas released , it was a god news for the computer chess fans. He performs a feat during the Computer Chess Championship, but the fans were deceipt because of his overal level ( especially during end-game.

In the CCR of 1988 Larry Kaufman explain that the Schroder programs ( MMIII, MM IV et MM V) were performing poorly during the tests ( compare to other computer chess) on really obvious lines. There were able to defeat ckearly programs running in similar hardware, and were really strong versus humans. This was quite difficult to explain. Larry Kaufman explained that the Schroeder program were selecting move at the first ply, so during a game the machine were able to analyse one ply deeper. Of course during tests, which were often based on aparently  'bad' move), the winning line was discarded. This blindness in tactical position was  compensate by the extra ply of the analysis deepness.


REBELL 5.0 :  great tactician and skillfull in defense

REBELL 5.0 is a old machine ( from 1985), an dplay at a level near 1900. When it was available, the end-users was complaining about his level , especially in th eebd-game.

The resut of the test confirm the overall opinion , REBELL 5.0 is really strong in tactics, and in defense. But it has some problem in planification ( identifying target and prepare attack), and in end-game.
In position requiring long-term calculation, the REBELL is not so efficient and a player should try to lead the game in such a position, where the REBELL 5.0 can be outclassed. Beaware to his ability in tactics and try to avoid any weakness in your position ( weackness can be considered as target for the REBELL).

We have to note that the overall weackness in end-game are due to his very bad performance in theorical end-game ( in other more sophisticated end-game , the REBELl is clearly better).



END GAME

MIDDLE GAME

OPENING

CALCULATION

THEORICAL ENDGAME

STRATEGY

TACTICS

THREATS DETECTION

ATTACKS

COUNTER 
ATTACKS

DEFENSE

SACRIFICE

REBELL

28

45

100

21

0

57

64

71

21

55

72

32

 

Le MM IV : an improved  and balanced Rebel mainly in end game and strategy

The MM IV is an imporvmenet of the REBELL. Ed Schroder worked mainly on REBELL weackness ( End-Game and Attack ) and reduce them. Other skills have been improved but the MM IV can be considered as a better and more balanced REBEL.



END GAME

MIDDLE GAME

OPENING

CALCULATION

THEORICAL ENDGAME

STRATEGY

TACTICS

THREATS DETECTION

ATTACKS

COUNTER 
ATTACKS

DEFENSE

SACRIFICE

MM_IV

40

46

86

29

52

47

53

70

23

48

76

31

 

Le MM V : a REBELL based engine, with an enhancement of his strong skill.


As for the MM IV the MM V is an upgrade of the REBELL. But when the MM IV reduce the Rebell's weackness , the MM V improved the REBEL Strong points! Te MM V Profile is mainly the same as the REBEL's but the MM V is more unbalanced!
The MM V is still weack in Attack and in sacrifice ( no upgrade since Rebell) , it is better in end game handling , and calculation and tactics. It is really good in defense but his weackness in attack can produce a passive game . If you don't try to win the game and donc create weackness in your position , you may be able to defeat it. But be careful if you want to win versus the MM V the counter attack may be powerfull.



END GAME

MIDDLE GAME

OPENING

CALCULATION

THEORICAL ENDGAME

STRATEGY

TACTICS

THREATS DETECTION

ATTACKS

COUNTER 
ATTACKS

DEFENSE

SACRIFICE

MM_V

38

41

99

38

49

45

47

74

14

54

77

23



Mephisto Nigel Short : The Rolls Royce of 8-bits machines.

Le Mephisto Nigel Short représente ce qui se fait de mieux avec un processeur 8-bits. Le programmeur a amélioré son programme dans tous les domaines , sauf peut être le jeu positionel , pour obtenir une machine équilibrée et capable de tenir tête à des joueurs experts.
Très à l'aise en finale, le Nigel Short ne risque pas de perdre des avantages acquis lors de la phase précédente.Pour une machine, le Nigel Short est à l'aise dans le domaine de l'attaque, et son adversaire ne pourra donc pas se contenter d'attendre que la machine fasse une erreur.




below you can see the pondered Data for al lthe machine of this family.




Comme on peut le voir le NIGEL SHORT dépassent ses ancêtres  sauf dans le jeu positionel (stratégie) , où il reste à un niveau assez bas. En contre partie la nouvelle machine est capable de mancer des attaques à long termes, et envisage facilement des sacrifices, ce qui rend son jeu plus intéressant pour un humain. L'auter a aussi fait des efforts pour améliorer la puissance de calcul et la reconnaissances des motifs tactiques.


Ci dessous on peut voir les profil comparés ( et pondérés) des deux machines et on voir très bien l'air de famille ! Below you can see the pondered profile of the machine :




Voici le graphe des donénes brutes comparées des machines de la famille de REBEL et ses descendants:



On voit tout de suite que les modules  MMV et MMIV  sont des versions améliorées de REBEL. L'air de famille est très important pour ces trois programmes qui ont un profil quasi identiques. Dans tous les domaines (ou presque pour le MMV car certains domaines n'ont pas été travaillés par le programeur) le Rebell est amélioré, même si les efforts du programeurs se sont portés surtout sur la défense, la detection des menace et la gestion des finales.
Contrairement à ce que j'avais imaginé , le MM V n'est pas un attaquant car il manque de vision stratégique et ne sait pas identifier les cibles potentielles, il doit être par contre très fort en défense et on doit se méfier lors des contre attaques si on se lance soi même à l'aventure !
Le MM IV, un peu plus équilibré, sembe avoir été travaillé pour amélioré l'ensemble des points faibles du REBELL, tandis que le MM V a encore amélioré les points forts du REBEL , en laissant un peu de côté sespoints faibles.
Le Mephisto Nigel Short ( et donc le Polgar et le Milano ) est donc une amélioration notable de ses prédecesseurs, et il est dans l'ensemble assez équilibré ce qui en fait un  adversaire intéressant et dangereux.


As the graph indicate , the MMIV and MMV are running  upgraded REBEL 5.0 version. Both profile are quite similar. The MMIV seems to be more balanced as the MM V where the programmer improved the strong point of the REBEL, but didn't work on hi sweakness.
The MEPHISTO NIGEL SHORT is a upgrade of both MMIV and MMV and all skill of the programme have been upgrade ( specially the endgame and calculation).



Le Roma 68020  : un programme solide et équilibré



Programme ayant donné ensuite le Chess Genius le Roma a une réputation d'avoir un jeu solide et équilibré. il est aussi plus fort que le REBELL, mais je pense que ce test est plus utilisé pour montrer le profil de jeu de la machine.

Le Roma a passé le test dans les même conditions que le REBELL, a savoir 2 minutes par test, et des reprises ou approfondissement quand cela s'est avéré nécessaire, et les résultat monter que en effet le Roma est un programme plus complet que le REBELL ( ou plus équilibré):

En gros il a comme points forts ( au dessus de 45%) : le milieu de jeu, l'ouverture ( ou il ne trouve pas toujours le bon chemin) , le calcul, la stratégie, la tactique, la gestion des menaces, la contre-attaque, et la défense.

Ses points plus faibles ( dans les 30% à peu près) sont la gestion des finales ( surtout pour les finales théoriques qui causent beaucoup de problèmes à ces vieilles machines), l'attaque et le sacrifice ( ce qui vu son style de jeu ne surprendra personne).




Le Chess Genius 2.2  : un programme  équilibré et au style particulièrement humain et capable de planifier



Le programme Chess Genius est une ré-écriture du programme de Roma , pour permettre l'utilisation de hash Table. C'est une version différente, mais tout de même cousine de celle qui tourne sur les ROMA , et elle doit elle aussi beaucoup à PSION.

Le tableau ci dessous montre les valeurs pondérées à 50 et donc le style de chacune des versions des programmes de Lang ( avec les points forts et les faiblesses des programmes).
.
Finale Milieu
de Jeu
Ouverture Calcul Finales
Théoriques
Stratégie Tactique Menace Attaque Contre
Attaque
Défense Sacrifice
Roma 68020 37 54 77 60 0 55 55 63 35 70 54 41
Chess Genius 2.2 Palm 49 49 58 46 59 39 54 67 54 43 49 41


On voit d'un coup d'oeil que le Chess Genius 2.2 est particulièrement équilibré. Quasiment toutes ses valeurs tournent autour de 50 %. Le profil est tout de même similaire à celui du Roma ce semble indiqué que R Lang a gardé la base mais en améliorant  certains points.
S'il est moins à l'aise en Stratégie, il compense par une facilité à detecter les menaces , et surtout dans l'attaque où le Chess Genius obtient un score de 54% . C'est une des rares machines à obtenir un tel score dans ce domaine, qui représente l'habilité à repèrer des objectifs (lointains) et à mettre en oeuvre les ressources pour atteindre cet objectif. Le Chess Genius est donc capable de "faire des plans" pour monter des attaques à long terme!  Le Chess Genius a de plus de bonne capacités en gestion des finales.
La seule machine qui obtient un résultat comparable c'est le Centurion au jeu très actif.  Comme beaucoup de machine, le Sacrifice est un point faible ( relativement ) pour ce programme, même s'il reste le mellieur programme dans ce domaine!

Mis à part l'attaque donc , le Genius ne tire pas sa force d'un domaine particulier du jeu et il es tl'un des programmes les plus complets. Il est aussi à l'aise en finale que dans la conduite du milieu de Jeu. C'est donc ce que l'on peut trouver de meilleur ( avec le Chess Tiger ) pour joueur contre un humain !


Chess Genius Family (Richard Lang)

 

Mephisto Roma 68020  : a solid and well-balanced style of play


This program is the ancestor of the Chess Genius program ( without hashtable), and in all site the general opinion is that the Roma play a very solid and balanced game. Those general impression is confirmed by the results of the test !

his main strengh are : conduct of the middle game and  the opening , calculation, strategy and tactics, threat detection, defense and counter-attack !

The Roma is not so efficient in the end-game handling ( specially the theorical ones) , the attack ( capabilty to identify target) and sacrifice ( the later is not really surprising if we consider his style of play).But these weackness are not too  But generally speacking the Roma is a very Balanced program with no real weackness even if his style may be found passive or not spectacular.

Chess Genius 2.2 (under Palm) : a balanced and humanlike program able to planify long term attacks!


The Chess Genius program is a complete rewriting of the Roma program, to be able to use hash table. This a a different but related release , and it tooks many things from PSION program ( as Richard Lang indicated in a interview).

The table above show the relative strengh and weackness of  both versions of the lang programs.


.

End game

Middle game

Opening

Calculation

Theorical endgame

Strategy

Tactic

Threat detection

Attack

Counter
Attack

Defense

Sacrifice

Roma 68020

37

54

77

60

0

55

55

63

35

70

54

41

Chess Genius 2.2 Palm

49

49

58

46

59

39

54

67

54

43

49

41



We see quickly that the chess genius program is very balanced. Nearly all skill are rated near 50%  ( the lone exception is for threat detection). This mean that the strengh of the program doesn't rely on specific skill but his due to his high level on very domain. Richard Lang keep the basis of the Roma but improved some of the weack points , in particular the skill in Attack was really inproved ( from 35 to 54! ) as well as the End game handling !

If the strategy is not the strong point of the Chess Genius program  ( this implies that if you not create weackness on your side, the Chess Genius will have difficukties to planify ), the Attacks score is very high ( one of the higtest rating  on this skill) , which implies that the Chess Genius will easily detect weackness and will be able to planify an long term attack on it!.
The running of the end game is really good for the chess genius program.
The Only Machine which is as active as the Chess Genius is the agressive Centurion by Franz Morsh ( see below).

The Chess Genius program ( found on Berlin dedicated computer chess) is really a human like program, very balanced and with a solid style of play.  As for the Chess Tiger this is one of the best ( inteesting) program for a Human player.

Kittinger Familly

Kittinger was the creator of a line of program , initily based on the program mychess. This program was used in the Constellation series and evolved with time, following the release of Constellation Forte/Expert, super forte/Expert , and related. Finally the Best of the Constellation line was the NOVAG DIABLIO ( or Scorpio in another package) produced in 1991. The program was an upgrade as the SuperExpert/forte C, and was using the evaluation function of RexChess, a good PC program by Don Dailey. The main difference between RexChess and Scorpio was the evaluation piece value of Scorpio versus the dynamic evaluation of RexChess. The Mobility was not taken into account for evaluation, and the program was supposed to be better on rapid game than at tournament time control.
In 1993 , Kittinger initiate the Ruby program line, the program was found in emerald (and Zircon) giving in 2005 the Star Ruby and the Novag Obsidian. The same program was used in the Novag Citrine.
In 1994 a new program/machine was released with the Diamond's series, giving in 1994 the best of all kittinger machine the Novag Star Diamond in 2003) . The Diamond II was delivered in 1997.


here are the score of both machine :



SCORPIO 68000 : a very balanced machine


The Scopio/Diablo was a very strong  and well balanced machine. It  is as good in endgame than in middlegame. Surprisingly the SCORPIO doesn't play in counter attack a most other program, but it has a good skill in attack. It is able to identify an opponent weakness and to mobilize his piece to reach a far objective. This is, in my view,  his main strength. His tactical skill is good but it's positional play is at the same level ( strategy skill). Once again this is quite rare , because machine tend to rely on their tactical skill.
The Scorpio can consider very agressive/active move , and is really a tough/untertaining opponent for human ( the resuts versus human are very good as indicated in DIAMOND's chapter).
The Scorpio is really a unusal machine.

Le DIABLO/SCORPIO est vraiment un adversaire très fort et bien équilibré.il est autant à l'aise en milieu de jeu qu'en phase finale, et assez bizarrement il joue moins en contre ttaque qu'en attaque ( c'est un profil assez rare pour le souligner).Il est en effet capable d'identifier une faiblesse dans la position de l'adversaire et de mobiliser ses forces pour l'attaquer, et il a donc  un jeu tout à fait actif. C'est de mon point de vue sa force principale. Ses capacité tactique sont bonne évidemment , ais il a aussi de bonne =s connaissances positionnelles, lui permettant de mettre en oeuvre de petits plans (sur quelques coups).  C'est encore une fois assez rare pour être souligné, car la plupart des autres programmes se reposent plus sur leurs capacités tactiques que stratégiques.
Lors des tests , le SCORPIO a montré qu'il pouvait considérer des coups très actifs et agressifs, et qu'il est un adversaire très intéressant contre les humains ( les résultats contre les humains lemontrent d'ailleurs comme on peu t le voir dans la description du DIAMOND)
C'est une machine originale en somme.

Le DiamondII : un monstre en tactique, moins à l'aise pour former des plans

The Diamond is a tremendous opponent, as indicated by his result and level of play. It is rather balanced , but his strength rely mostly on his tactical skills ( threat detection, calculation). If it plays quite well the endgame , it is not so efficient with theorical endgame. The Strategy ( and positional play) is his weakness, and it can weaken his position by following tactical purpose.
If it is strong in counter attack , it is rather weaker in attack , and it can be in trouble if it has to identify a weakness in his opponent's position, and if it has to mobilize his piece to attack this objective. This weakness is related to his strategic skill.
The profile indicates that , if Diamond is related to the DIABLO/SCORPIO, Kittinger have neglected the endgame and strategic skills, to concentrate on tactical ones. this seems quite efficient for games versus machines as the DIAMOND is better than DIABLO in those encounter.(2091 for DiamondII versus 2010 for SCORPIO*). This is less efficient in Man-Machine game where the too machine seems to be nearly of the same level (rating 2136 for DiamondII versus 2126 for SCORPIO*). Results on FICS are even better for SCORPIO (2180 FICS versus 2120 FICS)

Les tests montrent bien  que le DiamondII est un adversaire redoutable ( ce qui est confirmé d'ailleurs par le niveau que l'on trouve sur les différentes listes), S'il est assez équilibré, mais il est surtout efficient grâce à ses capacités tactiques (telles que détecter les menaces, puissance de calcul) , et à sa relativement bonne tenue en milieu de jeu et en finale, même si il a du mal à jouer les finales théorique.
Il est beaucoup moins à l'aise en stratégie ( et donc c'est son jeu positionel qui est en cause) et il est donc capable d'affaiblir sa position pour des considérations positionnelles.
Fort en contre attaque, ( c'est à dire si on va le chercher) il est par contre relativement plus faible lorsqu'il doit identifier une faiblesse dans le jeu de l'adversaire et qu'il doit mobiliser ces forces pour atteindre cet objectif. Ceci va évidemment de pair avec sa faiblesse en stratégie.

Le profil indique aussi que le Diamond est tout de même un descendant du DIABLO/SCORPIO, mais que Kittinger a delaissé les aptitudes en finales et en Strategie pour améliorer les performances tactiques du programme. Ceci semble avoir été efficace dans les matchs contre les autres machines(classement de 2091 for DiamondII versus 2010 for SCORPIO*) , mais au niveau du jeu contre les humains les deux machines font jeu égal (rating 2136 for DiamondII versus 2126 for SCORPIO*). Les résultats sur le serveur internet FICS sont même meilleurs pour le SCORPIO que pour le DIAMOND ( 2180 FICS contre 2120 FICS).

*source selective search N°117 

Novag Obsidian : the tactical skill are reduced to impove positional play

The Novag Obsidian seems wery close to the SCORPIO , except for the Edgame and counter attack skills. The Counter attack capabilities have been greatly improved , this imply that the obsidian will be more dangerous when we try to attack it, but in counter part the endgame skills dropped (all have a price i suppose). The attacking skill have been reduced a little too, and the tests show that the Obsidian will not consider some active/agressive lines if  his position will degraded.

Le MEPHISTO RISC 2500


Le MEPHISTI RISC 2500 la réputation d'avoir un style de jeu actif et interessant pour les humains. Les tests confirme ce jugement et le programme est en effet très équilibré.
Il a un profil assez proche de celui du Chess Genius, et est une adversaire qui sera à l'aise dans toutes les phases de jeu . Il n'a pas véritablement de point fort ( mis à part sa qualité de jeu dans les finales et aussi les  finales théorique) et sait (presque) ausi bien monter des attaques sur le long terme que défendre. Pour le comparer à un autre adversaire très fort, si la force du chess Genius est plus le résultat de  ses capacités de défense, celle du RISC 2500 vient elle de sa capacité à identifier des cibles et lancer des attaques. Il a dinc un jeu actif .

Contrairement à d'autres machines le calcul ne fait pas partie de ces point fort, mais il sait parfaitement faire des sacrifices quand c'est necessaire.


Finale Milieu
de Jeu
Ouverture Calcul Finales
Théoriques
Stratégie Tactique Menace Attaque Contre
Attaque
Défense Sacrifice
DiamondII 36 50 89 57 22 34 59 66 37 54 58 38
Mephisto RISC 2500 57 49 64 41 64 39 54 57 47 43 55 41
Chess Genius 2.2 Palm 49 49 58 46 59 39 54 67 54 43 49 41
Mean 42 49 75 42 37 46 55 70 32 51 65 35



La famille des programmes de franz morsch


J'ai fait passer le Test de Khmelnitsky au turbo Advanced trainer ainsi qu'au Radio Shack Master Chess . Les deux machines répondent exactement les mêmes coups, mais si le Turbo Advanced trainer répond plus vite les évaluations du Radio Shack Master Chess semble plus précise. Ce qui lui permet de résussir un peu mieux le test.  Il est aussi à noter que le programme tournant sur le Turbo Advanced Trainer ( donc le GK2000 ) réussit mieux le test que celui tournant sur le Centurion ( GK2100).

Ceci dit voici les résultats pondérés des machines programmées par Frans Morsch :

Finale Milieu
de Jeu
Ouverture Calcul Finales
Théoriques
Stratégie Tactique Menace Attaque Contre
Attaque
Défense Sacrifice
Centurion 36 75 26 60 0 43 71 71 46 59 59 52
Turbo Advanced Trainer 50 43 72 37 54 63 44 66 35 44 67 27
RS Master Chess 50 43 72 37 54 63 44 66 35 44 67 27

Le Turbo Advanced Trainer et le Radio Shcak Master Chess

Le Turbo Advanced Trainer est une machine assez équilibré et je dirais plutôt classique. Même si assez bizarrment, le programme GK2000  semble plus à l'aise dans les finales et  un peu moins dans le milieu de jeu? C'est sans doute dû au fait qu' il semble souffrir de faiblesse en calcul pur et en tactique ( aptitude fondamentale en mileu de jeu).

Ce type de profil n'es pas très courant, et je dois admettre que je suis assez surpris.

Il sait par contre bien défendre mais ne va pas être à l'aise quand il s'agira de trouver ( et de mettre en oeuvre) des plans d'attaque à long terme.Il n'a pas comme le centurion un jeu spéculatif et ne va pas sacrifier.


Le Centurion : un profil presque identique au Diamond, mais moins performant.

Le Centurion est une machine très forte dont la puissance de jeu repose surtout sur la tactique ( donc c'est une faiblesse corrigée par rapport à la version du GK2000), et dans la détection des menaces. Le Centurion est aussi très à l'aise dans le milieu de jeu, domaine dans lequel il est très fort, mais il est moins à l'aise en finale et  dans la gestion des ouvertures (hors bibli). Tout comme le DiamondII le Centurion est peu à l'aise au niveau de la stratégie, mais sait, bizarrment, relativement bien trouver des cibles et lancer des attaques (où à ce niveau il est aussi fort que le DiamondII!). Ce qu ilui donne la capacité d'avoir un jeu actif. Le Centurion est donc capable d'aller chercher son adversaire, si celui ci ne fait rien , mais s'il ne trouve pas la faille lors du milieu de partie, il sera probablement trop affaibli pour se sortir correctement de la finale.
Il faut se méfier aussi du Centurion car il a la meilleure capacité à sacrifier pour obtenir des compensations ( c'est un des meilleurs dans ce domaine) , ce qui démontre bien son style décrit en général comme agressif et actif.

Saitek Centurion : a profil similar to the DiamondII ( but less efficient and more agressive).

The Centurion is clearly a strong machine, and his power is based in his tactical capabilities. His profile is simular to the DiamondI profile, but the DiamondIi is more balanced, because the Centurion is not good in end-game handling.
The DiamondII the centurion is not very efficient in strategy , but it knows how to identify target ( good results in attack). As for the Chess Genius this implies that the machine will exploit any weackness create by his opponent, but will be less dangerous if you are able to avoid weackness in your position.

The Centurion have good skill in sacrifice, as can be expected if we analyse his games, where it have an agressive and active style..




Le Chess Tiger : un programme moderne au style équilibré et humain.

Le Chess Tiger sous palm étant une de mes références, je me devais de lui faire passer le test. Le résultat est conforme à mes attentes et prouve que le Chess Tiger est très proche du style de jeu humain.  
Déjà là où les vieux programmes ne réalisait que de piètres performances  ( le test est fait pour des humains) le CHESS TIGER réalise une performance plus que respectable, et surtout très supérieure à celle du Diamond II qui pourtant le domine en terme de niveau de jeu  pur.

Le CHESS TIGER n'a pas réellement de faiblesse  sauf peut être ( et de manière relative bien sûr)  en Attaque et en Sacrifice. Ceci est conforme à son style décrit assez souvent comme solide et classique ( qui peut sembler parfois passif). La faiblesse en attaque fait que parfois le Chess Tiger peut sembler passif et attendre que les choses se passe , ou bien accorder des nulles assez facilement ! Son inaptitude relative à voir des sacrifice est assez typique de beaucoup de programmes testés, mais il est dans ce domaine pas loin des meilleurs ( les programmes de Lang).
Il est plutot plus fort  en ouverture , en  défense et dans la detection des Menaces.
Dans les autres domaines tels que les finales par exemple, le Chess tiger n'a pas de faiblesse vraiment marquée, ni de gros point fort. Sous Palm OS son niveau en stratégie est quasi égal à son niveau en Tactique!

Finale Milieu
de Jeu
Ouverture Calcul Finales
Théoriques
Stratégie Tactique Menace Attaque Contre
Attaque
Défense Sacrifice
Chess Tiger 49 42 71 50 53 49 45 60 36 52 59 34


C'est bien un programme moderne , qui date d'une époque où les programmeur ont fait attention aux connaissances échiquéennes que se devait de maitriser leur création!

Chess Tiger 15.1: a modern progran very balanced and with human like style of play

This programunder Palm is one of my reference in Computer Chess, so i had to apply this test on it! The results are consistents which thos e i expected and the Chess Tiger prove his human plying style.

The result of chess tiger are really good for this test ( initially create to rate human player) and is beyond those of the Diamond which is probably better during OTB game.

The Chess Tiger show no real weackness ( except partially in Attack and Sacrifice.This is compliant with his style of play often described as solid and classical. His weackness in attack can give the idea that it is a passive program, from time to time it seems to only wait quietly the end of the game!  His weackness in sacrifice is normal for numerous program/machine, but in this domain, the Chess Tiger is quite good and not far from the best ( chess genius by R Lang)! Surprisingly the Chess tiger is just as good in general strategy as it is in tactic !

This is a modern program with lot of knowledge !


END GAME

MIDDLE GAME

OPENING

CALCULATION

THEORICAL ENDGAME

STRATEGY

TACTICS

THREATS DETECTION

ATTACKS

COUNTER 
ATTACKS

DEFENSE

SACRIFICE

Chess Tiger

49

42

71

50

53

49

45

60

36

52

59

34



below you can see the diagram for the Diamond , Centurion and Chess Tiger.








SARGON V :  As REBEL, SARGON V is good in defense and counter attack

SARGON V is an old program, issued from a 'debugging' of the SARGON IV on PC.  This program was an upgrade of  SARGON III used in the EXCELLENCE serie.  SARGON V is used in the EXCELL MACH II MACH III and MACH IV.
For the test , SARGON get 3 minute per move .

As a result of the test , it appears that SARGON Strengh are the result of his capabilities in DEFENSE and THREATS DETECTION , and his mains weackness is the ATTACKS ( it gets a very poor result in this skill) and SACRIFICE ( as many other programs). SARGON V is quite skillful in COUNTER ATTACK.
SARGON V is good in every phase of the game and have no real weackness in the end-game. During a game , SARGON V will be hard to defeat as he will oppose a good defense , and will be able to counter attack, but if you don't take the initiative, you will not have to fear his actions.

With the same program running on a better hardware ( i have tested the FIDELITY DESIGNER MACH IV) , the Mach IV imporved greatly the end game handling ( thanks to hash table and better calculation capacity), The strategic Skill ( as well as Attacking skill become really good, and the MACH IV seems quite well balanced,



And the graph (brut data), with the Data of Centurion ( a very agressive opponent) and Chess Tiger ( a well balanced program)

Le Cas du GrandMaster de Excalibur : 

The EXCALIBUR GRANDMASTER wasn't really succefull in the tests. As many old program the EXCALIBUR GRANDMASTER is very unbalanced and his weackness are very marked . It is skilled in DEFENSE, TACTICS  and is very good foor THREATS DETECTION, and is quite effective in COUNTER ATTACKS. It favorite phase is the MIDDLE GAME, but it is very weack during the END GAME.

His mains weackness are the STRATEGY and the ATTACKS where it is one of the badest !
Strangely the EXCALIBUR GRANDMASTER is not so bad in sacrifice where it perform quite well

All this informations, can convince us that the GRANDMASTER will be difficult to defeat but you won't risk to be crush if you take care.

END GAME

MIDDLE GAME

OPENING

CALCULATION

THEORICAL ENDGAME

STRATEGY

TACTICS

THREATS DETECTION

ATTACKS

COUNTER 
ATTACKS

DEFENSE

SACRIFICE

Grand Master

27

57

88

32

0

32

73

100

13

59

80

38




Les graphiques avec toutes les machines:


ci dessous en mode radar vous pouvez voir le profil de jeu  des machines. Ces données ont été modifiée pour  que toutes ai la même moyenne , et ce graphique ne sert qu'à compérer les styles de jeu des machines et pas leur niveau: en gros qu'est ce qui fait la force ou les faiblesses d'une machine donnée.

 

on voit bien que les trois machines sont fortes en tactique et dan sla detection des menaces, ainsi qu'en calcul et dans la gestion du miluei de partie. Le domaine de ma défense est la grande force de REBELL. Tandis que la contre attaque et celle du ROMA.
Bizarrement le DiamondII n'a pas de grande force, mais il est très fort dans plusieurs domaines, qui se commpletent assez bien.
On remarque aussi nettement le profil du Chess Tiger qui n'a pas de faiblesse ou de pount fort vraiment marqué.


et ci dessous le graphique non pondéré qui montre aussi donc le niveau relatif des machines entre elles :



On voit aussi que le Diamond est supérieur à ses deux concurrents même si dans plusieurs domaines ses deux concurents ne sont pas forcément très loin!Il est tout de m^me à note que en stratégie le Roma est plus fort que lui, tandis que le REBELL n'est pas loin dérrière, c'est le seul domaine ou le DIAMOND est dépassé, et cela est donc réellement sa faiblesse.

Encore une fois le Chess Tiger se démarque avec des résultats très au dessus de ceux de ses concurents. Cela montre bien  le style humain du programme.