ZEITGEMÄSSE WORKSHOP-MECHANIK
Übereinstimmung messen

Scheinbar klare Workshop-Ergebnisse können erhebliche Unterschiede in den Urteilen der Teilnehmer verdecken. Wenn diese Unterschiede unerkannt bleiben, beruhen Prioritäten, Entscheidungen und nächste Schritte womöglich auf der falschen Annahme, die Gruppe sei sich einig. Zudem entgeht Ihnen die Gelegenheit, rechtzeitig wichtige Fragen zu stellen: Welche Erkenntnisse und Einschätzungen liegen den abweichenden Urteilen zugrunde? Übersieht die Gruppe etwas Entscheidendes?

Das Problem: Workshop-Mechanik von gestern kann diese Unterschiede in der Beurteilung nicht zuverlässig aufdecken. Im Gruppengespräch spricht zu jedem Zeitpunkt nur eine Person. Vieles von dem, was die anderen zum jeweiligen Punkt denken, bleibt unausgesprochen. Mehr als die Reaktionen der Gruppe zu deuten, lässt diese Mechanik nicht zu. Doch selbst mit ausgeprägter Beobachtungsgabe bleiben solche Rückschlüsse Mutmaßungen.

Mit XLeap ersetzen Sie Mutmaßungen durch Messung. XLeap zeigt präzise, wo Urteile übereinstimmen, wo erhebliche Unterschiede bestehen und wo sich genaueres Hinsehen lohnt.

Übereinstimmung sicher erkennen · Erhebliche Unterschiede verorten · Wissen, was zu klären ist

Demo anfragen

Unerkannter Dissens ist gefährlich

Verdeckte Uneinigkeit kann den Workshop schon im Verlauf gefährden – lange bevor seine Ergebnisse als Grundlage für weiterreichende Entscheidungen dienen. Das ist keine bloße Theorie: Erhebliche Unterschiede in der sachlichen Beurteilung bleiben häufig verborgen. Da hilft es wenig, dass meist auffällt, wenn größeren Teilen der Gruppe schon die grundsätzliche Richtung nicht passt.

Beispielsweise können sich die Teilnehmer einig sein, dass Maßnahme X sehr wirksam wäre, ihre Machbarkeit aber völlig unterschiedlich beurteilen. Solche Unterschiede können auf tatsächliche Hindernisse, widersprüchliche Annahmen oder fehlende Informationen hinweisen. Aber solange diese Unterschiede in der Beurteilung nicht sichtbar werden, fehlt Ihnen eine verlässliche Grundlage, um die Ursachen gezielt zu untersuchen. In der verfügbaren Zeit können Sie unmöglich jeder denkbaren Uneinigkeit auf Verdacht nachgehen.

Unmöglich heißt nicht folgenlos: Entscheidungsträger erhalten womöglich eine scheinbar klare Empfehlung, ohne zu erfahren, dass ein erheblicher Teil der Gruppe die Maßnahme für nicht umsetzbar hielt – geschweige denn, warum.

Damit Sie rechtzeitig gezielt nachfragen können, müssen Sie wissen, wo genau und in welcher Hinsicht die Urteile der Teilnehmer auseinandergehen.

Auf Intuition ist kein Verlass

Stellen Sie sich 15 Teilnehmer vor, die 50 Ideen nach drei relevanten Kriterien bewerten. Das ergibt 2.250 einzelne Bewertungen für 150 Kombinationen aus Idee und Kriterium.

Aus Wortmeldungen, Mimik und Körpersprache in Echtzeit abzuleiten, wie weit diese 2.250 Urteile übereinstimmen, ist unmöglich. Aber das Hauptproblem ist nicht die Schwierigkeit, so viele Signale auszuwerten. Mit Workshop-Mechanik von gestern wird nur ein Bruchteil der nötigen Informationen überhaupt sichtbar.

Ist sich diese Gruppe einig über die Machbarkeit von Lösungsvorschlag 17?

Auch die sichtbaren Signale sind keineswegs leicht zu deuten. Bei den meisten Workshops bestimmt die Aufgabe, welche Kenntnisse und Perspektiven zusammenkommen müssen. Sie können deshalb nicht voraussetzen, alle Teilnehmer gut zu kennen. Hinzu kommen Unterschiede im Temperament, im kulturellen Hintergrund und darin, wie Menschen ihre Gefühle ausdrücken.

Wenn Sie das übliche Verhalten eines Teilnehmers nicht kennen, wie sollen Sie beurteilen, ob er ungewöhnlich aufgebracht, abweisend oder begeistert ist – oder sich einfach verhält wie immer? Und wenn Sie einige Teilnehmer besser kennen als andere, kommt eine weitere Verzerrung hinzu: Weil die Reaktionen und Aussagen vertrauter Teilnehmer leichter zu deuten scheinen, erhalten diese womöglich mehr Gewicht.

Aber selbst richtig gedeutete Reaktionen verraten noch nicht, wodurch sie ausgelöst wurden. Eine Reaktion kann sich auf die Sache beziehen, auf persönliche Beziehungen, Hierarchien oder frühere Positionen – oder auf mehrere dieser Dinge zugleich. Schweigen kann Zustimmung bedeuten, Scheu vor Widerspruch, Rücksicht auf Hierarchien oder einfach, dass jemand gerade nicht sprechen möchte.

Bei Videokonferenzen verschärft sich das Problem. Nonverbale Signale sind schlechter wahrnehmbar, auf kleine Videofenster verteilt oder fehlen ganz. Aber das grundlegende Problem besteht auch im Workshop vor Ort.

Stellen wir uns vor, jeder Gesichtsausdruck im Raum wäre so leicht zu deuten wie die Smileys unserer Illustration. Die sind schließlich eigens dafür gestaltet, Gefühle auszudrücken. Selbst dann wüssten Sie lediglich etwas über die Stimmung der Teilnehmer – aber nicht, wie jeder Einzelne beispielsweise die Machbarkeit einer bestimmten Maßnahme beurteilt.

Das ist kein Empathie- oder Kompetenzproblem. Es ist eine strukturelle Informationslücke, die auch noch so viel Erfahrung und Feingefühl nicht schließen können. Wer anderes erwartet, verlangt Unmögliches.

Mehrfachauswahl klärt nicht, wo die Gruppe einig ist

Bewertung und Priorisierung sind der naheliegende Anlass, Daten darüber zu erheben, wie stark die Urteile der Teilnehmer übereinstimmen. Umso erstaunlicher ist, wie gründlich Bewertungsverfahren von gestern an dieser Aufgabe scheitern.

Klebepunktabstimmungen, Likes und ähnliche Methoden reduzieren Urteile auf die bloße Auswahl. Ein Punkt zeigt, dass jemand einen Eintrag ausgewählt hat. Ein fehlender Punkt verrät nicht, ob der Eintrag die Auswahl nur knapp verpasst, irrelevant erscheint oder sogar als schädlich beurteilt wird. Die Punktezahl zeigt auch nicht, ob die Teilnehmer weitgehend einig sind oder stark auseinandergehen oder ob sie bei einem Kriterium übereinstimmen und bei einem anderen nicht.

Zudem werden diese Auswahlentscheidungen oft nicht unabhängig getroffen. Bei Klebepunktabstimmungen setzen die Teilnehmer ihre Punkte vor den Augen der anderen. Was nach Übereinstimmung aussieht, könnte Rücksichtnahme auf den vermeintlich kritischen Blick des Nachbarn sein.

Die häufig gewählte Variante, bei der die Teilnehmer ihre Punkte unbeobachtet setzen, verursacht ein anderes Problem: Alle müssen warten. Zuerst darauf, selbst an die Reihe zu kommen. Danach darauf, dass die anderen endlich fertig werden. Wer gerade an der Reihe ist, fühlt sich gedrängt, die Punkte schnell loszuwerden. Die Zeit zum Überlegen schrumpft für jeden Einzelnen auf einen Bruchteil der gesamten Abstimmungszeit. Und irgendwie landen weitere Punkte dort, wo schon welche kleben.

Klebepunktabstimmungen erfassen lediglich Auswahlentscheidungen. Daten zur Messung von Übereinstimmung liefern sie nicht.

Klebepunkte: keine Daten zur Übereinstimmung.

Konsequent priorisieren ist einer der sechs Workshop-Mechanismen von XLeap. Mit den differenzierten Bewertungsmethoden von XLeap beurteilt jeder Teilnehmer jeden Bewertungsgegenstand, statt nur einige auszuwählen. Diese individuellen Urteile lassen sich vergleichen.

Die Beurteilung nach mehreren Kriterien ist möglich, etwa von Maßnahmen nach ihrer Wirkung und Machbarkeit. XLeap misst dabei die Übereinstimmung für jeden Bewertungsgegenstand und jedes Kriterium.

Die Teilnehmer bearbeiten ihre elektronischen Bewertungsbögen gleichzeitig. Dadurch kommt die Gruppe schnell voran, während jeder Teilnehmer genügend Zeit hat, seine Bewertungen sorgfältig abzuwägen.

Ein Teilnehmer bewertet die Wichtigkeit jedes Gegenstandes auf einer Skala von 0 bis 5

Weil Bewertungen mit XLeap schnell und präzise sind, können Sie sie einsetzen, wenn Sie eine belastbare Beurteilung durch die Gruppe brauchen: Welche Themen sind am wichtigsten? Welche Ideen sind am stärksten? Welche Maßnahmen sollten weiterverfolgt werden?

Sie bestimmen die relevanten Kriterien und wählen die Bewertungsmethode. XLeap bietet eine große Auswahl numerischer Skalen, darunter bipolare Skalen mit oder ohne neutralen Mittelpunkt. Weitere Methoden sind Rangfolge, Schätzung und Budgetierung. Für spezielle Anwendungsfälle unterstützt XLeap natürlich auch Mehrfachauswahl.

Nur unabhängige Urteile lohnen die Messung

Die Teilnehmer geben ihre Bewertungen unabhängig voneinander ab. Sie sehen nicht, wie andere bewerten. Das schützt sie einerseits vor dem Druck, sich einer vermeintlichen Mehrheit anzuschließen. Andererseits versperrt es die bequeme Abkürzung, einfach das Urteil anderer zu übernehmen, statt selbst nachzudenken.

Bewertungen sind meist anonym, damit Teilnehmer ihr Urteil offen abgeben können. Ohne Anonymität müssen sie damit rechnen, dass ihre Bewertungen persönliche Konsequenzen haben. Die Furcht, selbst kritisiert zu werden oder Beziehungen zu beschädigen, Rücksicht auf Hierarchien, geschuldete Gefallen und mögliche spätere Konsequenzen können beeinflussen, welches Urteil sie abzugeben bereit sind. Bei anonymen Bewertungen entfällt diese persönliche Exponierung.

Kurzum, XLeap verhindert, dass Konformitätsdruck Übereinstimmung vorspiegelt.

Ein Durchschnittswert kann Uneinigkeit verdecken

Auch die Ergebnisse differenzierter Bewertungsmethoden können mehrdeutig sein. Ein Durchschnitt sagt, wo die Gruppe mit ihrem Urteil liegt – aber eben nur im Durchschnitt. Er zeigt nicht, ob die Gruppe weitgehend übereinstimmt oder stark unterschiedlich urteilt.

Sehr hohe oder sehr niedrige Durchschnittswerte auf einer Bewertungsskala sind meist aussagekräftig. Bei einer Skala von 0 bis 10 bedeutet ein sehr hoher Durchschnitt, dass die meisten Teilnehmer den Gegenstand hoch bewertet haben. Ein sehr niedriger Durchschnitt bedeutet, dass die meisten ihn niedrig bewertet haben. Einzelne abweichende Urteile ändern daran wenig.

Bei mittleren Werten ist das anders. Nehmen wir einen Durchschnitt von 5 auf einer Skala von 0 bis 10.

Wir sind uns vollkommen einig: Das ist mittelmäßig.

Uneiniger könnten wir nicht sein.

Der Durchschnitt ist identisch. Die Aussage ist es nicht.

XLeap misst die Übereinstimmung in der Gruppe anhand der Standardabweichung. Diese zeigt, wie stark die einzelnen Bewertungen um den Durchschnitt streuen. Je näher die Bewertungen beieinanderliegen, desto niedriger ist die Standardabweichung. Je weiter sie auseinanderliegen, desto höher ist sie.

XLeap normiert diesen Wert für die jeweilige Bewertungsmethode. Die normierte Standardabweichung, kurz nSD, liefert einen leicht verständlichen und einheitlich interpretierbaren Indikator für die Übereinstimmung bei jeder Bewertung.

Auch ein niedriger nSD-Wert ist aufschlussreich. Er zeigt, wann hinter einem Durchschnitt tatsächlich ein gemeinsames Urteil steht.

Daten zur Übereinstimmung müssen nutzbar sein

Wenn XLeap die Übereinstimmung für viele Bewertungsgegenstände und Kriterien misst, entsteht eine Fülle zusätzlicher Informationen. XLeap-Ergebnistabellen machen diese Informationen für die Gruppenarbeit nutzbar. Sie zeigen den nSD-Wert neben dem Bewertungsergebnis und lassen sich danach sortieren. Der Organisator legt einen Schwellenwert fest, ab dem hohe nSD-Werte hervorgehoben werden. Starke Unterschiede fallen so sofort auf. Wenn die Gruppe ins Detail einsteigen möchte, zeigt die Tabelle die Verteilung der einzelnen Bewertungen hinter dem Indikator.

In Ergebnistabellen mit mehreren Kriterien macht die farbliche Schwellenwertanalyse Muster sichtbar – etwa große Übereinstimmung in der Bewertung der Wirksamkeit bei starken Unterschieden in der Bewertung der Machbarkeit. Wenn eine Ergebnistabelle komplex ist, etwa weil sie mehrere Kennzahlen aus Bewertungen nach mehreren Kriterien enthält, können Sie Informationen zunächst ausblenden. So können Sie die Komplexität schrittweise erhöhen und den Inhalt leichter erfassen. Das Gestaltungsprinzip: Details nach Bedarf.

Weil XLeap die Übereinstimmung automatisch misst, sehen die Teilnehmer, dass Unterschiede in der Beurteilung nicht einfach im Gesamtergebnis untergehen. Sie sehen auch, wenn Einwände wenig Unterstützung finden. Wenn die Gruppe dann fortfährt, bedeutet das nicht, dass Einwände unterdrückt wurden. Es bedeutet, dass zu wenige Teilnehmer diese Einwände teilten.

Ein Minderheitsurteil kann trotzdem aus sachlichen Gründen wichtig sein. Ob es ins Gewicht fällt, bleibt eine Frage fachlicher Beurteilung. Eine kontroverse Idee kann eine nähere Prüfung verdienen. Oder auch nicht, weil bereits mehr einhellig hoch bewertete Optionen vorliegen, als die Gruppe weiterverfolgen kann.

Mit Tabellen und Diagrammen können Sie Prioritäten und Übereinstimmung gemeinsam mit der Gruppe analysieren, die relevanten Unterschiede prüfen und entscheiden, was die Gruppe als Nächstes tun sollte.

Ergebnistabelle für ein Kriterium mit hohen nSD-Werten in Rot
und detaillierter Verteilung der Bewertungen.

Mehrkriterienergebnistabelle mit farblich unterlegten nSD-Werten.
Ampelschema mit variablen Schwellenwerten.

Wo die Unterschiede verlaufen

Je nach Fragestellung kann es wichtig sein, wie sich Urteile innerhalb bestimmter Teilnehmergruppen und zwischen ihnen verteilen. Der Organisator kann dafür relevante Teilnehmergruppen definieren. Bewertungen lassen sich diesen Gruppen zuordnen, ohne einzelne Teilnehmer kenntlich zu machen. Die persönliche Anonymität bleibt gewahrt.

Geht es beispielsweise um die Machbarkeit einer Maßnahme, kann die Unterscheidung zwischen umsetzungsnahen und umsetzungsfernen Teilnehmern aufschlussreich sein. Weil die erste Gruppe näher an der tatsächlichen Umsetzung ist, kann ihrem Urteil besonderes Gewicht zukommen. Hohe Übereinstimmung innerhalb dieser Gruppe zeigt zusätzlich, dass ihre Einschätzung breit geteilt wird.

Bei der Bewertung einer Go-to-Market-Strategie kann es wichtig sein, ob die Unterschiede quer durch die Gruppe verlaufen oder zwischen Marketing und Vertrieb. In der Produktentwicklung können unterschiedliche Einschätzungen von F&E, Marketing und Operations relevant sein.

Sie entscheiden, ob eine Teilgruppenanalyse sinnvoll ist und welche Gruppen für Ihre Fragestellung relevant sind. XLeap zeigt in Ergebnistabellen und Diagrammen, wie diese Gruppen bewertet haben und wie stark ihre Urteile übereinstimmen. So werden auch Unterschiede zwischen den Gruppen sichtbar.

Ergebnistabelle für ein Kriterium, gegliedert nach Kategorien,
mit Gesamtwerten und Ergebnissen zweier Teilgruppen.

Mehrkriterienergebnisgrafik mit Vergleich zweier Teilgruppen.
Fokus liegt auf Abstimmungsgegenstand 4.

Das Zusammenspiel der Mechanismen

Die sechs Workshop-Mechanismen von XLeap verstärken sich gegenseitig.

Wenn alle gleichzeitig beitragen können, können Sie die Stakeholder und Experten beteiligen, deren Wissen und Urteilskraft Sie brauchen. Anonym können diese offen sagen, was sie wissen und denken, ohne sich persönlich zu exponieren. Ihre Beiträge werden nach ihrer Substanz statt nach ihrem Absender beurteilt.

Zusammen ermöglichen die Mechanismen bessere Lösungen und belastbarere Entscheidungen.

Mit passenden Bewertungsmethoden ermittelt die Gruppe, was vorrangig ist. Dabei misst XLeap automatisch, wo die Urteile übereinstimmen und wo erhebliche Unterschiede bestehen.

Mehrere wichtige oder kontroverse Themen kann die Gruppe gleichzeitig in der nötigen Tiefe diskutieren, ohne sich aufzuteilen. Auch dabei können alle gleichzeitig und bei Bedarf anonym beitragen.

Zusammen ermöglichen die Mechanismen bessere Lösungen und belastbarere Entscheidungen.

ENTDECKEN SIE DIE ANDEREN MECHANISMEN

Gleichzeitig beitragen · Beteiligung · Anonym beitragen · Konsequent priorisieren · Parallel diskutieren

Wissen, wo wirklich Einigkeit besteht

Große Übereinstimmung unter relevanten Experten und Stakeholdern verleiht Empfehlungen und Schlussfolgerungen mehr Gewicht. Erhebliche Unterschiede zeigen, wo Annahmen, Belege, Machbarkeit oder Rückhalt genauer geprüft werden sollten.

Entscheidend ist: Sie können widersprüchliche Einschätzungen und strittige Annahmen direkt mit der Gruppe klären. Fakten ersetzen Vermutungen, bevor Sie Schlussfolgerungen ziehen oder Empfehlungen aussprechen.