Objektivität ist dann gegeben, wenn die Bewertung eines Tests nur vom Testergebnis abhängt. Nicht von demjenigen, der eine Testung leitet und auch nicht von demjenigen, der die Tests auswertet. Hierfür muss die Testanleitung, also wie der Test auszufüllen ist, immer gleich lauten. Fragen müssen immer auf die gleiche Art und Weise verstanden werden und die Bewertung darf nur von den tatsächlichen Testantworten abhängig sein und nicht etwa von Geschlecht oder Herkunft beeinflusst werden.

Auch wenn im Testmanual, der Anleitung, wie der Test durchzuführen ist, sehr detailliert beschrieben wurde, wie sich der Versuchsleiter zu verhalten hat und wie er mit Fragen umzugehen hat, existiert doch ein größerer Kritikpunkt. Bei DISG-Persönlichkeitstests geht es um Verhalten in bestimmten Situationen. Welche diese sind, wird nicht näher bestimmt. Stattdessen werden Beispiele gegeben, wie „ich bei der Reisekostenabrechnung“. Auf welche Situationen sich Probanden konkret beziehen sollen, steht ihnen allerdings offen. Somit werden die Fragen/Items des Tests nicht einheitlich interpretiert, die Anleitung wird nicht einheitlich verstanden.

Der Begriff Reliabilität wird dem ein oder anderen bekannt vorkommen. Lateinischen Ursprungs findet man im Englischen den Begriff „reliablity“ – Verlässlichkeit. Ein Test ist dann verlässlich, wenn er bei der gleichen Person immer zu den gleichen Ergebnissen kommt, unter der Voraussetzung, dass sich bei der Person nichts geändert hat. Ein Beispiel, wenn man seine Körpergröße jetzt und in 2 Minuten nochmal mithilfe eines Zollstocks misst, dann kommt man jeweils zum gleichen Ergebnis, schließlich ist man in den 2 Minuten nicht wirklich gewachsen. Der Zollstock als Testinstrument ist entsprechend sehr verlässlich und somit reliabel.

Das Interessante bei der Reliabilität von DISG Persönlichkeitstests ist, dass zwei Reliabilitätswerte berichtet werden, von denen einer, gar nicht angewandt werden dürfte. Einerseits wird die Test-Retest-Reliabilität angegeben. Beim Test-Retest-Verfahren wird letztendlich das Gleiche gemacht, wie in unserem Zollstockbeispiel. Ein Proband füllt zweimal den gleichen Test aus, wobei der Zeitabstand länger als 2 Minuten ist. In diesem Fall sind es vier Wochen. Die Test-Retest-Ergebnisse sind zufriedenstellend.

Darüber hinaus werden allerdings Angaben zur internen Konsistenz gemacht. Die interne Konsistenz beziffert, grob gesagt, wie sehr Items/Fragen/Aussagen, die das Gleiche messen sollen, auch das Gleiche messen. Die Idee dahinter ist, dass wenn z.B. 3 Fragen dasselbe messen, dann stellt jede Frage gewissermaßen das Messen mithilfe des Zollstocks dar. Bei nur einer Testung hat man den Probanden, dieser Denkweise folgend, 3 Mal getestet. Kommen die 3 Fragen zum gleichen bzw. ähnlichen Ergebnis, so ist die interne Konsistenz gut.

Aber warum darf die berichtete interne Konsistenz gar nicht auf den farbenfrohen DISG Persönlichkeitstest angewandt werden? Das Antwortformat des „persolog“ Persönlichkeits-DISG Tests ist ipsativ. Auch alle anderen DISG Tests, die wir finden konnten, haben ein ipsatives Antwortformat. Die Studien, die zur Berechnung der internen Konsistenz herangezogen wurden, nutzten jedoch ein normatives Antwortformat.

Bei einem ipsativen Antwortformat wird man dazu gezwungen zwischen Aussagen zu wählen. Man muss diejenige Aussage aussuchen, die zum eigenen typischen Verhalten am besten passt und diejenige, welche am schlechtesten passt.

Bei einem normativen Antwortformat hat der Proband die Möglichkeit zu allen Aussagen konkret Stellung zu beziehen. Anstatt zwischen Aussagen die passendste bzw. unpassendste auszuwählen, muss bei einem normativen Antwortformat jede Aussage einzeln bewertet werden. I.d.R. passiert dies mithilfe einer Lickert-Skala, bei der man 5 bis 10 Antwortmöglichkeiten hat, die entweder starke Ablehnung oder starke Zustimmung ausdrücken.

Man kann natürlich nicht die Reliabilität eines Persönlichkeitstests, der ein normatives Antwortformat nutzt, auf Persönlichkeitstests, die ein ipsatives Antwortformat besitzen, übertragen. Selbst wenn die Aussagen bzw. Fragen dieselben sind.

Dass die interne Konsistenz trotzdem als Reliabilitätswert für den DISG Persönlichkeitstest angegeben wird, ist überaus seltsam. Man hat beinahe das Gefühl, dass Testnutzer bewusst hinters Licht geführt werden sollten.

Die Validität bemisst, ob ein Test misst, was er messen soll. Es existieren unterschiedliche Möglichkeiten, die Validität zu bestimmen. Z.B die Konstruktvalidität, hier prüft man, ob die angedachte Struktur eines Tests durch die Ergebnisse einer Studie bestätigt werden können. Die prädikative Konstruktvalidität hingegen besteht dann, wenn der Test vorhersagt, was er theoretisch vorhersagen soll. Wenn der Farben-Persönlichkeitstest DISG einer Person bescheinigt, dass sie sich zur Führungskraft eignet. Allerdings die meisten Befragten keine Führungskraft sind und auch keine werden/werden wollen, dann hat es sich um eine sehr schlechte Vorhersage gehandelt.

Konstruktvalidität

Es existieren tatsächlich Studien, die prüfen, ob sich die angedachte Struktur der DISG Persönlichkeitstests in Erhebungen widerspiegeln. Allerdings existiert das gleiche Problem, wie auch bei der internen Konsistenz. Die Studien wurden mit einem normativen Antwortformat umgesetzt, alle uns bekannten DISG Persönlichkeitstests haben allerdings ein ipsatives Antwortformat. Weiterhin gilt, dass man die Ergebnisse von Tests mit normativen Antwortformaten nicht auf Tests mit ipsativen Antwortformaten übertragen darf. Es existiert also kein Beleg, dass die Konstruktvalidität bei DISG Persönlichkeitstests gegeben ist.

Prädikative Validität

DISG Persönlichkeitstests werden gerne im Bereich Human Resources zur Personaldiagnostik eingesetzt. Sie werden außerdem damit beworben, dass man mit ihrer Hilfe effizienter kommunizieren könne, bessere Teamarbeit erreiche und eine bessere Führungskraft werde. Jedoch ist nichts davon belegt!
Es konnten keine Studien gefunden werden, die irgendeine dieser Behauptungen belegt oder nur behandelt. Auch die prädikative Validität ist somit nicht gegeben!

Jeder von uns gefundene DISG Persönlichkeitstest ordnet Probanden einen Persönlichkeitstyp zu. Allerdings können die empirischen Daten auch dies nicht belegen. Selbst die amerikanischen Studien die König und Marcus (2013) einsehen konnten, belegen die Annahme des Typenmodells nicht. Es wurden noch nicht einmal Anstrengungen unternommen, um diese Behauptung zu prüfen.

König und Marcus (2013) können den „persolog Persönlichkeits-Profil“ Test, welcher eine deutsche Version des amerikanischen DISG Originals ist, nicht empfehlen. Hierbei haben sie versucht selbst internationale Studien über DISG Persönlichkeitstests zu finden und in ihrer Bewertung mit hineinfließen zu lassen. Trotzdem konnten sie keine Nachweise finden, dass der Test die notwendigen Gütekriterien einhält.

Da alle DIGS Persönlichkeitstests, die wir finden konnten, ebenso wie der persolog Persönlichkeitstest mit ipsativen Antwortformat ausgestattet sind, kann das Urteil von König und Marcus (2013) auf alle DISG Tests dieser Art ausgeweitet werden.