Erfahrung in der Entwicklung von Anforderungen an professionelle Datenwissenschaftler

Heutzutage hat fast jedes Unternehmen das Bedürfnis nach Data Mining. Datenwissenschaft wird nicht als etwas Neues wahrgenommen. Es ist jedoch nicht jedem klar, was ein angestellter Spezialist sein sollte.

Dieser Artikel wurde nicht von einem HR-Spezialisten, sondern von einem Wissenschaftler verfasst, daher ist der Präsentationsstil sehr spezifisch, aber dies hat einen Vorteil: Es ist ein Einblick, der es Ihnen ermöglicht zu verstehen, welche Eigenschaften ein Datenwissenschaftler für den Beruf erforderlich ist, damit sich das Unternehmen auf solche verlassen kann Person.

Prolog

Es ist die Zeit gekommen, in der das Data Science-Startup aus Windeln herausgewachsen ist - die Anzahl der zu analysierenden Aufgaben hat mit unerwarteter Geschwindigkeit zugenommen, und diese Geschwindigkeit wurde sofort nicht mehr durch Automatisierung kompensiert. Es wurde offensichtlich, dass wir neue Köpfe im Team brauchten ...

Wie es mir zunächst schien, war eine Person ganz bestimmt erforderlich: nur ein gewöhnliches Datum - etwas - dort ... Programmierer, Analytiker, Statistiker. Was ist die Schwierigkeit, eine Liste von Anforderungen zu erstellen?

"Wenn Sie im Ingenieurwesen nicht wissen, was Sie tun, sollten Sie dies nicht tun."
Richard Hamming

Ich näherte mich der Sache wie gewohnt. Er nahm zwei Blatt Papier heraus. Eine mit dem Titel "Technische Fähigkeiten", die andere mit dem Titel "Professionelle Fähigkeiten". Danach bestand der Wunsch, auf eine Ressource zu klettern, dort eine Reihe von Lebensläufen zu finden, Listen mit Qualitäten aufzuschreiben und diejenigen auszuwählen, die Ihnen gefallen. Aber etwas hat mich aufgehalten. "Das ist nicht mein Weg", sagte ich mir. "Ich verstehe das nicht." Ich verstehe die Aufgaben .. "

Ich habe versucht, von der Aufgabe wegzukommen. Unsere Aufgaben sind einfach. Sie erhalten ein nicht reagierendes CRM mit zweifelhaften Inhalten und werden gebeten, den Umsatz einige Monate im Voraus vorherzusagen. Ganz einfach. Jeder kann damit umgehen ... Haftungsausschluss: Wenn Sie das Geschäft des Kunden verstehen können. Idealerweise wird hierfür eine Arbeitsgruppe gebildet, die von allen anderen Aufgaben abstrahiert und sich der Analyse dieser speziellen Aufgabe widmet. Am Eingang - auf Wunsch des Kunden, am Ausgang - eine Lösung, die überprüft werden kann, ohne auf Details einzugehen und ohne die geleistete Arbeit zu duplizieren.

Von hier aus habe ich die erste irgendwie formale Anforderung zusammengestellt - eine Person sollte in der Lage sein, eine separate Aufgabe zu übernehmen und niemanden besonders zu ziehen, bis die erste unhöfliche Entscheidung eingeht. Dann kann diese Entscheidung verbessert werden, indem Spezialisten hinzugezogen werden, um zu helfen. Aber in der ersten Phase ist die Verwendung einer anderen Person dasselbe wie die Auferlegung eines Aufsehers für eine Person. Und der Aufseher kann den Neuankömmling jederzeit wegschieben und alles für ihn tun, was die Einstellung absolut bedeutungslos macht.

Basierend auf dieser ersten Anforderung füllte ich schnell das erste Blatt aus: Python kennen, Informationen aus verschiedenen Quellen extrahieren, Informationen speichern, AWS verwenden, den Server und Statistiken kennen, zufällige Prozesse ausführen können. Wenig später fügte ich dort die Wirtschaft in der Basisversion hinzu. Das Ergebnis ist eine Liste der Fähigkeiten, die erforderlich sind, um sicherzustellen, dass die erste Anforderung erfüllt wird.

Aber mit der Liste der beruflichen Qualitäten war ich nicht erfolgreich. Selbst beim Googeln fand ich keine professionellen Anforderungen an einen Datenwissenschaftler, die angemessen erschienen.

Entweder kamen allgemeine Formulierungen der Form „Verantwortung“ auf, oder Qualitäten wurden als Fähigkeiten verstanden, die zu einer anderen Liste gehörten.

Seine eigenen Gedanken vermischten sich mit Brei, der schwer zu systematisieren war. Das Globale wurde mit dem Spezifischen gemischt, das nur für bestimmte Aufgaben gilt. Es schien mir sehr falsch, solche Eigenschaften, die zu allgemein waren, zusammen mit Eigenschaften, die der Kandidat später niemals verwenden konnte, auf einem Haufen zu ertragen.

Irgendwo hier wurde die Idee des Problems geboren. Es schien mir eine gute und elegante Möglichkeit zu sein, die Notwendigkeit, über die Anforderungslisten zu philosophieren, zu bezahlen und gleichzeitig die erforderliche Liste zu sammeln und Fehler in den Lösungen zu untersuchen.

Aufgabenstellung

Der Unternehmer beschloss, ein Geschäft auf Badmintonplätzen zu eröffnen, damit die Besucher nicht zum Federball und Schläger in den Supermarkt gehen mussten.

Während des gesamten Jahres behielt der Unternehmer alle Einnahmen aus Einkäufen, um anschließend zu verstehen, welche Entscheidungen zur Steigerung des Gewinns getroffen werden sollten. Informationen aus den Prüfungen sind in der angehängten Datei train_dataset.csv enthalten.

Er packte Federbälle und Schläger und verkaufte ausschließlich in Sets von drei Typen:

1. Schläger und zwei Federbälle
2. Schläger und fünf Federbälle
3. Zehn Federbälle

Von Zeit zu Zeit musste der Unternehmer die Preise im Hinblick auf Supermarktpreise und Steuersätze ändern.

Der Laden und das Gericht arbeiteten ohne freie Tage und Feiertage. Der Kundenstrom war etwas begrenzt, da nur 4 Personen auf dem Platz zugelassen sind und der Platz für eine zweistündige Sitzung im Voraus gebucht ist. Es gibt nur drei Plätze im Stadion. Trotzdem verging kein Tag ohne Verkauf, da von Zeit zu Zeit entweder völlig unvorbereitete Leute an den Hof kamen oder jemand einen Schläger riss oder Federbälle verlor.

Ein Jahr später beschloss der Unternehmer, einen Verkauf zu arrangieren, der vom 1. bis einschließlich 31. Januar dauern sollte. Er verteilte Warensätze neu und wies ihnen folgende Preise zu:

1. Nur ein Schläger - 11 Dollar 80 Cent
2. Fünf Federbälle - 5 Dollar 90 Cent
3. Ein Schläger und ein Federball - 12 Dollar 98 Cent

Die Höhe des Einkommens des Unternehmers muss im Januar festgelegt werden.

Wahrscheinlichkeitsempfindlichkeit

„Ich glaube, die besten Vorhersagen basieren auf Verständnis
in den Prozess der fundamentalen Kräfte involviert. “
Richard Hamming

Die Aufgabe wurde in Nachahmung der wirklichen Aufgaben des Lebens erstellt, jedoch auf künstliche Weise, die den Kandidaten nicht verborgen blieb. Daher wurden einige Formeln angewendet, um den Datensatz zu erstellen. Angenommen, mit Zufallsvariablen, aber Formeln gewürzt. In jedem Fall wurde angenommen, dass der Datenwissenschaftler diese Formeln erkennen und für Prognosen verwenden konnte.

Natürlich sollte man nicht die Möglichkeit verwerfen, dass der Datensatz kein vollständiges Bild liefert, das es ermöglicht, Formeln mit der erforderlichen Genauigkeit wiederherzustellen. Aber für diesen Fall im wirklichen Leben überlegen wir uns, welche zusätzlichen Informationen sein sollten und woher sie stammen.

Im Allgemeinen ist der Wunsch, das "Gesetz des Universums" zu finden, eine gute berufliche Qualität. Die Fähigkeit zu verstehen, wonach und wo gesucht werden muss, ist ebenfalls vorhanden. Herr Hamming wusste, wovon er sprach. Und dank ihm erschien die erste Zeile in meiner Anforderungsliste:

Die Fähigkeit, Ursache-Wirkungs-Beziehungen zu erkennen, zu beschreiben und die Bedingungen zu formulieren, unter denen Beziehungen in eine für Unternehmen nützliche Formel umgewandelt werden können.

Es ist kein Zufall, dass ich hier den Ausdruck „nützlich für Unternehmen“ verwendet habe. In meiner persönlichen Praxis stellte sich oft heraus, dass es nicht die Antwort auf das Problem war, das den Geschäftsgewinn brachte, sondern eine Art Nebenprodukt, das durch das Öffnen einer Art interner Abhängigkeiten erhalten wurde. In einigen Fällen brachte dies Startups zusätzliches Geld, neue Verträge und erhöhte die Menge an Know-how und Nebenprodukten.

Daher analysierte ich bei der Analyse der an mich gesendeten Entscheidungen sorgfältig, wie der Kandidat das Wissen über die Künstlichkeit des Datensatzes nutzen würde, ob er irgendwann zusätzliche Informationen anfordern oder nachweisen würde, dass der Datensatz ausreicht, um die Aufgabe abzuschließen.

Selbstvertrauen

"Wenn ein Ereignis unsere Aufmerksamkeit auf sich zieht, beginnt das assoziative Gedächtnis nach seiner Ursache zu suchen, oder vielmehr wird jeder bereits im Gedächtnis gespeicherte Grund aktiviert."
Daniel Kahneman

Ich werde nicht sagen, dass das assoziative Gedächtnis schlecht ist. Sie ist die Quelle und der Treibstoff unserer Vorstellungskraft. Mit Fantasy können Sie Hypothesen erstellen, intuitiv Annahmen treffen und schnell die Variablenpaare finden, zwischen denen eine Verbindung möglich ist.

Und sie setzt uns in Form einer Voreingenommenheitsbestätigung auf den Zug.

Wir sind so an unsere eigenen Erfahrungen und unser eigenes Wissen gewöhnt, dass wir beginnen, sie auf neue Situationen auszudehnen. In der lebenden Welt ist dies oft nützlich. Sagen wir, der Glaube, dass alle Schlangen giftig sind, rettet mehr Leben als der Zweifel, dass diese bestimmte Schlange nicht giftig ist. Aber in einem sicheren Büro, das genügend Zeit hat, ist es besser, jedes Urteil als Hypothese wahrzunehmen.

Der Aufgabendatensatz wurde speziell so konzipiert, dass das Zeitintervall nur ein Beobachtungsjahr umfasste. Es ist gut, dass die Kandidaten in der Phase der Betrachtung der Grafiken eine Hypothese über das Vorhandensein saisonaler Schwankungen aufstellen. Es ist schlecht, dass selten jemand die Notwendigkeit angegeben hat, dies zu überprüfen. Und es ist sehr schlimm, dass einige ohne Überprüfung auf dem Vorhandensein von Saisonalität bestanden haben.

Also habe ich Folgendes in die Liste der Qualitäten eingetragen:

Die Kritikalität des Denkens, auch in Bezug auf ihre eigene Erfahrung.

Ich wollte hier wirklich „und Wissen“ hinzufügen, aber dann schien es mir, dass dieses Postskriptum ein großes neues Thema eröffnet.

Neurotismus

„Nachdem wir diese oder jene Theorie entwickelt haben, wenden wir uns wieder den Beobachtungen zu.
um sie zu überprüfen. "
Gregory Mankyu

In der datenwissenschaftlichen Literatur werden Möglichkeiten zur Automatisierung des Hypothesentests untersucht. Ich habe jedoch selten Richtlinien für ihre Verwendung erfüllt. Ob Sie es glauben oder nicht, wenn ich zwischen zwei scheinbar sehr unterschiedlichen Aktivitäten verwechselt wurde - Überprüfung statistischer Hypothesen und Überprüfung des Modells.

Gleichzeitig wird, was noch verwirrender ist, der Unterschied zwischen den Konzepten der statistischen Hypothese und der Hypothese im Allgemeinen übersehen. Um solche Verwirrung in unserem Artikel zu vermeiden, möchte ich den Begriff Annahme für das allgemeine Konzept einer Hypothese verwenden.

Im vorherigen Absatz wurde eine solche Annahme in Bezug auf den Datensatz getroffen, nämlich das Vorhandensein von Saisonalität. Es ist durchaus intuitiv möglich, eine saisonale Komponente als periodisch wiederkehrend zu definieren. Und hier sollten Sie sich sofort die Frage stellen: Wie oft muss die Komponente wiederholt werden, damit sie als saisonal betrachtet werden kann? Darüber hinaus können wir anhand periodischer Wiederholungen das Vorhandensein einer saisonalen Komponente im Datensatz bestätigen, deren Zeitintervall nur ein Jahr beträgt.

Wie bereits erwähnt, wurde die Länge des Intervalls speziell ausgewählt. Ich wollte, dass die Kandidaten die Notwendigkeit und die Möglichkeit haben, ihre eigenen Möglichkeiten anzubieten, um die Verfügbarkeit der Saisonalität für die betreffende Aufgabe zu überprüfen. Und ich habe diese Qualität auch in die Liste der erforderlichen beruflichen Qualitäten aufgenommen:

Die Fähigkeit, Annahmen auf Standardmethode zu testen und neue Überprüfungsmethoden zu entwickeln.

Wahrscheinlich klingt "neue Wege finden" zu laut. Ich habe selten das Bedürfnis, mir etwas Neues auszudenken. Die Methode der einfachen Überlegungen nach der Frage „Was wäre wenn?“ Ist durchaus geeignet.

In dem schönen Artikel „Das ist richtig, aber falsch“ gab Alexander Chernookiy Beispiele für schnelle und fast intuitive Lösungen für mehrere probabilistische Probleme. Ein ähnlicher Mechanismus scheint mir recht gut geeignet zu sein, um Annahmen zu testen.

Zuerst werden wir darüber nachdenken, welche Art von Saisonalität wir finden möchten. Saisonalität kann ein externer Faktor sein, der uns unbekannt ist und der eine gewisse paranormale Wiederholbarkeit in den Daten darstellt. Es ist möglich, eine solche Saisonalität zu beschreiben, ohne über den Datensatz hinauszugehen, indem die saisonale Komponente separat ausgeschrieben und der Grad ihrer Stabilität angegeben wird. Und Saisonalität kann in bekannten Daten verborgen sein. Wenn beispielsweise die Saisonalität die Anzahl der Käufer und die Anzahl der Käufer im Verkaufsvolumen beeinflusst, ist es unwahrscheinlich, dass wir die Saisonalität als separates Phänomen benötigen, wenn wir im Voraus wissen und wann welcher Käufer kommen würde. Folglich werden wir genau die paranormale Saisonalität suchen, da wir sie nicht kennen und brauchen.

Nehmen wir nun an, dass eine solche Saisonalität den Umsatz nicht beeinflusst. Dann sind alle Umsatzschwankungen entweder zufällig oder Sie können eine Beziehung zwischen ihnen und Änderungen in anderen Variablen finden. Wie vollständig beschreibt diese Abhängigkeit, was passiert? Wird es noch Raum für paranormale Saisonalität geben?

Das heißt, um das Vorhandensein von Saisonalität zu überprüfen, können wir alle Abhängigkeiten von den bekannten Variablen finden und danach, indem wir diese Abhängigkeiten von den Schwankungen abziehen, den Rest betrachten. Wenn die Streuung des Restes ausreichend gering ist, macht die Suche nach paranormalen Werten möglicherweise überhaupt keinen Sinn.

So haben wir eine einfache Möglichkeit, die Saisonalität zu überprüfen, wenn kein ausreichend langes Datenintervall vorliegt.

Achtung

"Unser Geist ist nicht bereit, seltene Ereignisse zu verstehen."
Robert Banner

Wenn wir uns der Suche nach der Beziehung zwischen den beiden Größen zuwenden, versuchen wir als erstes, ihre gegenseitige Veränderung zu spüren. Und es gibt vielleicht keine einfachere und aufwändigere Methode als die lineare Regression. Es kann hilfreich sein, sich eine Meinung über die Beziehung zu bilden, selbst wenn die quantitative Beziehung zwischen den Mengen unbekannt ist. Nun, es hat eine Reihe anderer Vorteile.

Und die Mängel.

Tatsächlich ist die Beziehung zwischen den beiden Größen bei weitem nicht immer so einfach, dass sie durch numerische Merkmale identifiziert werden kann. Egal wie schön die lineare Annäherung der Beziehung zwischen den beiden Größen sein mag, es besteht immer die Möglichkeit, dass es sich um etwas Komplexeres handelt. Der englische Mathematiker Francis Enscombe illustrierte dieses Phänomen anhand von vier Beispielen, die später als Enscombe Quartet bekannt wurden .

Es war eine gute Idee und sehr einfach umzusetzen, etwas Ähnliches wie Enscombs Quartett in die Aufgabe einzubeziehen. Trotz der Popularität des Phänomens fielen viele Kandidaten auf den Köder herein.

Die Implementierung des Phänomens in das Problem war wie folgt. Es gebe drei Kundengruppen, von denen jede beim Kauf ein bestimmtes Interesse weckt. Die beiden Gruppen verhalten sich ähnlich und ihr Verhalten drückt sich in einer linearen Beziehung zwischen Nachfrage und Preis aus. Aber die dritte Gruppe macht es anders. Mit dem Übergang der Preise über einer bestimmten Schwelle hören Käufer aus dieser Gruppe scharf auf, mehr als das notwendige Minimum zu kaufen.

Dieses in der realen Welt weit verbreitete Phänomen ermöglichte es, eines von Enscombs Beispielen zu simulieren und unter zwei anderen Verteilungen zu verbergen.

In der Tat ist "verstecken" nicht gut für die Situation. Ich habe diese Distribution einfach neben andere gestellt, vertrauter und verständlicher. Der Unterschied war in den Grafiken offensichtlich, wie es mir schien, aber nicht jeder bemerkte es. Besonders interessant war der Versuch eines der Kandidaten, die Approximation durch Übergang zu einem Polynom höherer Ordnung zu „verbessern“.

Also formulierte ich eine weitere Anforderung an berufliche Qualitäten:

Um signifikante Beobachtungen isolieren zu können, erstellen Sie Hypothesen bezüglich ihrer Bedeutung.

Impulsivität

„Das Messgerät wird seit fünf Jahren ausgiebig verwendet und hat drei Überprüfungen durchlaufen.“
Timothy Leary

Zuvor habe ich eine Situation beschrieben, in der ungeklärte Salden so gering werden, dass ihr Einfluss vor dem Hintergrund der Geschäftsvorteile, die der Rest des Modells bietet, nicht mehr zu unterscheiden ist.

Sie müssen jedoch verstehen, was sich hinter dem Ausdruck "so klein" verbirgt.

Normalerweise wird die Welt von uns mit einigen Instrumenten beobachtet und gemessen. Einfach wie ein Lineal oder komplex wie ein Elektronenmikroskop. Zu den komplexen Geräten gehört ein Computer, auf dem eine statistische Programmierumgebung installiert ist.

In gewissem Sinne kann jede Beobachtung oder Schlussfolgerung, die wir machen, als Ergebnis einer Messung wahrgenommen werden. Wir betrachten die Bedingungen des Problems und messen das Einkommen in einem Zeitintervall, das noch nicht eingetreten ist. Hier habe ich das für viele mysteriöse und magische Wort „vorhersagen“ durch das Wort „messen“ ersetzt. Im Rahmen meiner täglichen Arbeit kann ich das durchaus sagen, da die Prognose mit relativ hoher Genauigkeit durch Routineberechnungen ersetzt wird.

Eine Messung kann jedoch nicht extrem genau sein. Jedes Gerät hat einen Messfehler, der durch seine Unvollkommenheit verursacht wird. Und bei den Messungen ist es notwendig, ihre Genauigkeit anzugeben, dafür wird zusammen mit dem erhaltenen Ergebnis ein Konfidenzintervall angegeben.

Die Angabe des Konfidenzintervalls ist nicht einmal eine Empfehlung, sondern eine oft vergessene Notwendigkeit. Obwohl in meinen Worten eine gewisse Pedanterie zu hören sein wird, glaube ich, dass die Berechnung des Konfidenzintervalls ein Akt des Selbstwertgefühls ist und die folgende Qualität zu den notwendigen Eigenschaften für einen Datenwissenschaftler gehört:

Genauigkeit bei der Einhaltung der formalen Anforderungen von Algorithmen und Methoden, insbesondere bei der Berechnung von Konfidenzintervallen und der Überprüfung der erforderlichen und ausreichenden Bedingungen.

Duktilität

"Diese Bestimmung ist nicht ganz richtig, aber in den meisten Fällen für die praktische Anwendung ausreichend."
Francis Enscomb

Bis jetzt habe ich es vermieden, die auffälligsten Merkmale dieser Aufgabe zu diskutieren. Das prognostizierte Intervall ist durch eine starke Veränderung der verkauften Waren gekennzeichnet. Jetzt ist es an der Zeit zu erklären, warum diese Änderung in der Aufgabe angezeigt wird.

Oben habe ich bereits meine Ansicht zur Möglichkeit dargelegt, verschiedene Annahmen zu überprüfen. Überprüfung sollte immer sein. Wenn etwas nicht überprüft werden kann oder die Überprüfungsmethode nicht bekannt ist, sollten verschiedene Optionen beschrieben werden. Sie können als Grund für weitere Forschung dienen. Gleichzeitig muss versucht werden, die Situation anhand bekannter Informationen so gut wie möglich zu beschreiben.

Was wissen wir eigentlich über Verkäufe? Es gibt Leute, die aus den bekannten und aufgeführten Gründen Einkäufe tätigen. Sie können den gesamten Prozess fast vollständig simulieren, da wir alle Abhängigkeiten gefunden und festgestellt haben, dass der ungeklärte Rückstand normal verteilt ist und eine sehr geringe Streuung aufweist.

Es tauchen Fragen auf: Deckt das gekaufte Warenvolumen die Bedürfnisse der Menschen ab? Was tun sie, wenn der Bedarf nicht gedeckt wird? Was tun sie beispielsweise, wenn der Preis eines Produkts ihrer Meinung nach zu hoch ist? Woher kommt die lineare Abhängigkeit der Nachfrage?

In der Tat sind dies Fragen für das Geschäft. Und natürlich sollten sie dem Geschäftsinhaber als Experten auf ihrem Gebiet gebeten werden.Am Ende ist der ursprüngliche Datensatz bei weitem nicht immer voll, und das Unternehmen weiß selbst mit professionellen Analysten nicht alles. Tatsächlich wendet sich das Unternehmen der Datenwissenschaft zu, gerade weil nicht jeder weiß. Aber was ist, wenn ...

Was ist, wenn es ein überprüfbares und konsistentes Modell gibt, das die Situation nur anhand unserer bekannten Daten beschreibt? Dies ist auch einen Besuch wert.

Nachwort

Lassen Sie mich eine endgültige Liste der beruflichen Qualitäten des Datenwissenschaftlers erstellen, die ich geschrieben habe.

1. Die Fähigkeit, Ursache-Wirkungs-Beziehungen zu erkennen, zu beschreiben und die Bedingungen zu formulieren, unter denen Beziehungen in eine für Unternehmen nützliche Formel umgewandelt werden können.
2. Die Kritikalität des Denkens, auch in Bezug auf ihre eigene Erfahrung.
3. Die Fähigkeit, Annahmen auf Standardmethode zu testen und neue Überprüfungsmethoden zu entwickeln.
4. , .
5. , .

In dieser zusammengestellten Form erscheint mir die Liste ziemlich offensichtlich. Vielleicht, weil es die Liste der kognitiven Vorurteile bis zu einem gewissen Grad wiederholt. Was mich übrigens zu der Idee des natürlichen Beweises posteriorer Beobachtungen führt. Und doch erinnere ich mich an die Zeit der Meditation auf dem zweiten leeren Blatt Papier und ich verstehe, dass die Liste ohne die geleistete Arbeit nicht zusammengestellt worden wäre.

Immer noch interessant ist die Idee, dass die Bedeutung einer Tatsache für eine Person für eine andere Person nicht unbedingt offensichtlich ist. Dies geht deutlich aus den Lösungen für das Problem hervor, das ich von Dutzenden von Kandidaten erhalten habe ...

Autor: Valery Kondakov, Mitbegründer und CTO von Uninum
Mitautor: Pavel Zhirnovsky, Mitbegründer und CEO von Uninum

PS

Statistik zur Vakanz am 25.06.19
Datum der Platzierung der Vakanz: 27.05.19
Gesamtansichten der Vakanz: 2727
Antworten insgesamt: 94

• Sie schickten eine Lösung für das Problem, aber es stellte sich als falsch heraus: 20%
• Sie stimmten zu, das Problem zu lösen, schickten jedoch keine Antwort: 30%
• Ablehnung in der Phase der Prüfung eines Lebenslaufs aus verschiedenen Gründen: 45%
• Sie haben eine Lösung geschickt, die der richtigen nahe kommt: 5%