Warum Data Science-Teams Universal brauchen, keine Spezialisten

HIROSHI WATANABE / GETTY IMAGES

In The Wealth of Nations zeigt Adam Smith, wie die Arbeitsteilung zu einer wichtigen Quelle für Produktivitätsgewinne wird. Ein Beispiel ist das Fließband einer Fabrik zur Herstellung von Stiften: "Ein Arbeiter zieht am Draht, der andere richtet ihn gerade, der dritte schneidet, der vierte schärft das Ende, der fünfte schleift das andere Ende passend zum Kopf." Dank der Spezialisierung auf bestimmte Funktionen wird jeder Mitarbeiter zu einem hochqualifizierten Spezialisten für seine enge Aufgabe, was zu einer Steigerung der Effizienz des Prozesses führt. Die Leistung pro Arbeiter steigt um ein Vielfaches und die Anlage wird effizienter bei der Herstellung von Stiften.

Diese Arbeitsteilung nach Funktionen ist bis heute so tief in unseren Köpfen verwurzelt, dass wir unsere Teams schnell entsprechend organisiert haben. Data Science ist keine Ausnahme. Komplexe algorithmische Geschäftsmöglichkeiten erfordern viele Arbeitsfunktionen. Daher bilden Unternehmen normalerweise Spezialistenteams: Forscher, Datenanalyseingenieure, Ingenieure für maschinelles Lernen, Wissenschaftler, die an Ursache-Wirkungs-Beziehungen beteiligt sind, und so weiter. Die Arbeit der Spezialisten wird vom Produktmanager mit der Übertragung von Funktionen auf eine Art und Weise koordiniert, die einer Stiftfabrik ähnelt: „Eine Person empfängt die Daten, die anderen modellieren sie, die dritte führt sie durch, die vierte Maßnahme“ und so weiter.

Leider sollten wir unsere Data Science-Teams nicht optimieren, um die Leistung zu verbessern. Sie tun dies jedoch, wenn Sie verstehen, was Sie produzieren: Stifte oder etwas anderes, und einfach danach streben, die Effizienz zu steigern. Der Zweck von Montagelinien besteht darin, die Aufgabe abzuschließen. Wir wissen genau, was wir wollen - dies sind Stifte (wie in Smiths Beispiel), aber Sie können jedes Produkt oder jede Dienstleistung erwähnen, in der die Anforderungen alle Aspekte des Produkts und seines Verhaltens vollständig beschreiben. Die Rolle der Mitarbeiter besteht darin, diese Anforderungen so effizient wie möglich zu erfüllen.

Das Ziel von Data Science ist jedoch nicht, Aufgaben zu erledigen. Ziel ist es vielmehr, starke neue Geschäftsmöglichkeiten zu erkunden und zu entwickeln. Algorithmische Produkte und Dienstleistungen wie Empfehlungssysteme, Kundeninteraktionen, Stilvorlieben, Größen, Kleidungsdesign, Logistikoptimierung, saisonale Trenderkennung und mehr können nicht im Voraus entwickelt werden. Sie müssen studiert werden. Es sind keine Zeichnungen zu reproduzieren, dies sind neue Merkmale mit ihrer inhärenten Unsicherheit. Koeffizienten, Modelle, Modelltypen, Hyperparameter und alle erforderlichen Elemente sollten mithilfe von Experimenten, Versuch und Irrtum sowie Wiederholung untersucht werden. Mit Stiften werden Training und Design im Voraus durchgeführt, bis sie hergestellt sind. Mit Data Science lernen Sie dabei, nicht vorher.

Wenn in einer Stiftfabrik die Schulung an erster Stelle steht, erwarten und wollen wir nicht, dass die Mitarbeiter an einer Eigenschaft des Produkts improvisieren und die Produktionseffizienz erhöhen. Die Spezialisierung von Aufgaben ist sinnvoll, da sie zur Effizienz der Prozesse und zur Koordination der Produktion führt (ohne Änderungen am Endprodukt vorzunehmen).

Wenn sich das Produkt jedoch noch entwickelt und das Ziel das Training ist, beeinträchtigt die Spezialisierung unsere Ziele in den folgenden Fällen:

1. Dies erhöht die Koordinierungskosten.

Das heißt, die Kosten, die während der Zeit anfallen, die für die Kommunikation, Diskussion, Rechtfertigung und Priorisierung der zu erledigenden Arbeit aufgewendet wird. Diese Kosten skalieren superlinear mit der Anzahl der beteiligten Personen. (Wie uns J. Richard Hackman gelehrt hat, wächst die Anzahl der Beziehungen r ähnlich wie die Anzahl der Mitglieder n gemäß dieser Gleichung: r = (n ^ 2-n) / 2. Und jedes Verhältnis zeigt einen bestimmten Betrag des Kostenverhältnisses). Wenn Datenanalysespezialisten in jeder Phase, bei jeder Änderung, bei jeder Leistungsübertragung usw. nach Funktionen organisiert sind, sind viele Spezialisten erforderlich, was die Koordinierungskosten erhöht. Beispielsweise müssen sich Statistiker, die mit neuen Funktionen experimentieren möchten, mit Datenverarbeitungsingenieuren abstimmen, die ihre Datensätze jedes Mal ergänzen, wenn sie etwas Neues ausprobieren möchten. Auf die gleiche Weise bedeutet jedes neue trainierte Modell, dass der Modellentwickler jemanden benötigt, mit dem er seine Aktionen koordinieren kann, um es in Betrieb zu nehmen. Die Koordinierungskosten dienen als Zahlung für die Iteration, was sie schwieriger und teurer macht und die Wahrscheinlichkeit erhöht, dass die Studie abgebrochen wird. Dies kann das Lernen beeinträchtigen.

2. Dies verkompliziert die Wartezeit.

Noch beängstigender als die Kosten für die Koordination ist der Zeitverlust zwischen den Schichten. Während die Koordinierungskosten normalerweise in Stunden gemessen werden: Die Zeit, die für die Durchführung von Besprechungen, Diskussionen und Projektüberprüfungen benötigt wird - Wartezeiten werden normalerweise in Tagen, Wochen oder sogar Monaten gemessen! Die Zeitpläne der Funktionsspezialisten sind schwer abzustimmen, da jeder Spezialist auf mehrere Projekte verteilt werden sollte. Eine einstündige Besprechung zur Erörterung von Änderungen kann mehrere Wochen dauern, um den Workflow zu optimieren. Und nachdem Sie sich auf die Änderungen geeinigt haben, ist es notwendig, die eigentliche Arbeit selbst im Kontext vieler anderer Projekte zu planen, die Arbeitsstunden von Spezialisten in Anspruch nehmen. Die Arbeit an der Korrektur eines Codes oder einer Recherche, die nur wenige Stunden oder Tage dauert, kann viel länger dauern, bis Ressourcen verfügbar werden. Bis dahin werden Iteration und Lernen angehalten.

3. Es verengt den Kontext.

Die Arbeitsteilung kann das Lernen künstlich einschränken, indem Menschen dafür belohnt werden, dass sie in ihrer Spezialisierung bleiben. Zum Beispiel wird ein Forscher, der im Rahmen seiner Funktionalität bleiben muss, seine Energie auf Experimente mit verschiedenen Arten von Algorithmen konzentrieren: Regression, neuronale Netze, zufällige Wälder und so weiter. Natürlich kann eine gute Auswahl des Algorithmus zu allmählichen Verbesserungen führen, aber in der Regel kann aus anderen Aktivitäten, wie der Integration neuer Datenquellen, noch viel mehr gelernt werden. In ähnlicher Weise wird es helfen, ein Modell zu entwickeln, das jede den Daten innewohnende Erklärungskraft nutzt. Seine Stärke kann jedoch darin liegen, die Zielfunktion zu ändern oder bestimmte Einschränkungen zu lockern. Es ist schwer zu sehen oder zu tun, wenn ihre Arbeit begrenzt ist. Da sich ein spezialisierter Wissenschaftler auf die Optimierung von Algorithmen spezialisiert hat, ist es viel weniger wahrscheinlich, dass er etwas anderes tut, selbst wenn dies erhebliche Vorteile bringt.

Nennen wir die Anzeichen, die auftreten, wenn Data Science-Teams wie Pin-Fabriken arbeiten (z. B. bei einfachen Statusaktualisierungen): „Warten auf Änderungen der Datenpipeline“ und „Warten auf ML Eng-Ressourcen“, die häufig blockiert werden. Ich glaube jedoch, dass Sie einen gefährlicheren Effekt nicht bemerken, weil Sie nicht bereuen können, was Sie noch nicht wissen. Die einwandfreie Erfüllung der Anforderungen und die Selbstzufriedenheit, die durch das Erreichen der Prozesseffizienz erreicht wird, können die Wahrheit verschleiern, dass Unternehmen nicht mit den Vorteilen des Lernens vertraut sind, die sie vermissen.

Die Lösung für dieses Problem besteht natürlich darin, die Factory-Pin-Methode loszuwerden. Um das Lernen und die Iteration anzuregen, sollten die Rollen der Datenwissenschaft gemeinsam sein, jedoch mit weitreichenden Verantwortlichkeiten, die unabhängig von der technischen Funktion sind, dh Datenspezialisten so organisieren, dass sie für das Lernen optimiert sind. Dies bedeutet, dass „Full-Stack-Spezialisten“ eingestellt werden müssen - allgemeine Spezialisten, die verschiedene Funktionen ausführen können: vom Konzept bis zur Modellierung, von der Implementierung bis zur Messung. Es ist wichtig anzumerken, dass ich nicht davon ausgehe, dass bei der Einstellung von Full-Stack-Spezialisten die Anzahl der Mitarbeiter sinken sollte. Höchstwahrscheinlich gehe ich einfach davon aus, dass ihre Anreize bei einer anderen Organisation besser auf die Vorteile von Training und Effektivität abgestimmt sind. Zum Beispiel haben Sie ein Team von drei Personen mit drei Geschäftsqualitäten. In der Fabrik zur Herstellung von Stiften widmet jeder Spezialist ein Drittel der Zeit jeder beruflichen Aufgabe, da sonst niemand seine Arbeit erledigen kann. In einem vollständigen Stapel widmet sich jeder universelle Mitarbeiter voll und ganz dem gesamten Geschäftsprozess, der Skalierung von Jobs und der Schulung.

Da weniger Personen den Produktionszyklus unterstützen, wird die Koordination reduziert. Der Wagen bewegt sich reibungslos zwischen Funktionen, erweitert die Datenpipeline, fügt weitere Daten hinzu, probiert neue Funktionen in Modellen aus, setzt neue Versionen in der Produktion für kausale Messungen ein und wiederholt Schritte, sobald neue Ideen kommen. Natürlich führt der Kombi verschiedene Funktionen nacheinander und nicht parallel aus. Immerhin ist dies nur eine Person. Die Aufgabe nimmt jedoch normalerweise nur einen kleinen Teil der Zeit in Anspruch, die für den Zugriff auf eine andere spezialisierte Ressource erforderlich ist. Dadurch wird die Iterationszeit reduziert.

Unser Kombi ist möglicherweise nicht so qualifiziert wie ein Spezialist für eine bestimmte Aufgabe, aber wir streben keine funktionale Exzellenz oder kleine inkrementelle Verbesserungen an. Vielmehr bemühen wir uns, neue berufliche Herausforderungen mit allmählicher Wirkung zu studieren und zu entdecken. Mit einem ganzheitlichen Kontext für eine Komplettlösung sieht er Chancen, die ein enger Spezialist verpassen wird. Er hat mehr Ideen und mehr Möglichkeiten. Er scheitert auch. Die Kosten für das Scheitern sind jedoch gering und die Vorteile des Lernens sind hoch. Diese Asymmetrie fördert eine schnelle Iteration und belohnt das Lernen.

Es ist wichtig zu beachten, dass dies das Ausmaß der Autonomie und die Vielfalt der Fähigkeiten ist, die Wissenschaftlern zur Verfügung gestellt werden, die mit vollen Stapeln arbeiten. Dies hängt weitgehend von der Zuverlässigkeit der Datenplattform ab, auf der Sie arbeiten können. Eine gut gestaltete Datenplattform abstrahiert Datenwissenschaftler von der Komplexität der Containerisierung, der verteilten Verarbeitung, der automatischen Übertragung auf eine andere Ressource und anderen fortschrittlichen Computerkonzepten. Zusätzlich zur Abstraktion kann eine zuverlässige Datenplattform eine ungehinderte Konnektivität zur experimentellen Infrastruktur bereitstellen, Überwachungs- und Berichtssysteme automatisieren sowie algorithmische Ergebnisse und Debugging automatisch skalieren und visualisieren. Diese Komponenten werden von Datenplattformingenieuren entworfen und erstellt, dh sie werden nicht vom Data Science-Spezialisten an das Datenplattform-Entwicklungsteam übertragen. Es ist der Data Science Specialist, der für den gesamten Code verantwortlich ist, der zum Starten der Plattform verwendet wird.

Ich war auch einmal an der funktionalen Arbeitsteilung mit Prozesseffizienz interessiert, aber durch Versuch und Irrtum (es gibt keinen besseren Weg zu lernen) fand ich heraus, dass typische Rollen besser zum Lernen und zur Innovation beitragen und die richtigen Indikatoren liefern: Entdecken und Bauen einer viel größeren Anzahl von Geschäftsmöglichkeiten als spezialisierter Ansatz. (Ein effektiverer Weg, um mehr über diesen Organisationsansatz zu erfahren als die von mir durchgeführte Trial-and-Error-Methode, ist das Lesen von Amy Edmondsons Buch "Teaminteraktion: Wie Organisationen in der wissensbasierten Wirtschaft lernen, Innovationen schaffen und konkurrieren".)

Es gibt einige wichtige Annahmen, die diesen Organisationsansatz in einigen Unternehmen mehr oder weniger zuverlässig machen können. Der Iterationsprozess reduziert die Kosten für Versuch und Irrtum. Wenn die Kosten des Fehlers hoch sind, können Sie ihn reduzieren (dies wird jedoch nicht für medizinische Anwendungen oder die Produktion empfohlen). Wenn Sie mit Petabytes oder Exabytes an Daten arbeiten, ist möglicherweise eine Spezialisierung auf das Datendesign erforderlich. Wenn die Aufrechterhaltung von Online-Geschäftsmöglichkeiten und deren Zugänglichkeit wichtiger ist als deren Verbesserung, kann funktionale Exzellenz das Lernen übertreffen. Schließlich basiert das Full-Stack-Modell auf den Meinungen von Personen, die es kennen. Sie sind keine Einhörner; Sie können von Ihnen selbst gefunden oder vorbereitet werden. Sie sind jedoch sehr gefragt, und um sie für das Unternehmen zu gewinnen und zu halten, sind eine wettbewerbsfähige finanzielle Entschädigung, nachhaltige Unternehmenswerte und interessante Arbeit erforderlich. Stellen Sie sicher, dass Ihre Unternehmenskultur diese Bedingungen erfüllen kann.

Trotz alledem glaube ich, dass das Full-Stack-Modell die besten Startbedingungen bietet. Beginnen Sie mit ihnen und bewegen Sie sich dann bewusst nur dann zur funktionalen Arbeitsteilung, wenn dies unbedingt erforderlich ist.

Es gibt andere Nachteile der funktionalen Spezialisierung. Dies kann zu einem Verlust der Verantwortung und Passivität der Arbeitnehmer führen. Smith selbst kritisiert die Arbeitsteilung und schlägt vor, dass dies zu einer Abschwächung des Talents führt, d. H. Arbeiter werden ahnungslos und zurückgezogen, da ihre Rollen auf einige sich wiederholende Aufgaben beschränkt sind. Während Spezialisierung die Prozesseffizienz sicherstellen kann, ist es weniger wahrscheinlich, dass sie Mitarbeiter inspiriert.

Universelle Rollen bieten wiederum alles, was die Arbeitszufriedenheit fördert: Autonomie, Können und Entschlossenheit. Autonomie ist, dass sie nicht auf irgendetwas angewiesen sind, um Erfolg zu haben. Meisterschaft liegt in starken Wettbewerbsvorteilen. Und Entschlossenheit ist die Fähigkeit, das von ihnen geschaffene Geschäft zu beeinflussen. Wenn es uns gelingt, die Menschen dazu zu bringen, sich von ihrer Arbeit mitreißen zu lassen und einen großen Einfluss auf das Unternehmen zu haben, wird alles andere zusammenpassen.