Eines Tages kommt ein Digitalisierungsspezialist in die Fabrik. Er ging hier herum, ging dorthin, runzelte die Stirn und sagte: „Ich weiß, wie man hier etwas optimieren kann. Sie sparen gezielt! Gib mir einfach Zugriff auf diese Produktionsdaten. “ Als Antwort zuckte die Pflanze die Achseln. „Hier haben wir einen Vertriebsanalysten. Zu den Turbinen gibt es etwas zu sagen - sehr intelligente Siemens-Turbinen. Und für den Rest der Ausrüstung gab es nichts Laichen. “
Sie lesen eine Miniatur über den Konflikt zweier Welten - Industrie und Analytik. Wir sind von der letzten, und so sieht es für uns aus: Einerseits Datenaustauschprotokolle mit einer großen Anzahl von Ziffern im Namen, die für das Gerätemanagement erstellt wurden und für gewöhnliche Sterbliche unzugänglich sind. Auf der anderen Seite - Analysesysteme, schöne Berichte, praktische Dashboards und andere Annehmlichkeiten.
Nicht jede Produktion hat ein hohes technologisches Niveau erreicht. Aber jeder braucht Hilfe. Auf dem Foto ein Rahmen aus dem Film "Plant".In diesem Beitrag erfahren Sie, wie wir versuchen, ein menschliches Gesicht zu gestalten (nach den Maßstäben eines einfachen Datenwissenschaftlers), damit Geschäftsanalysten Industriedaten verarbeiten und schöne BI-Berichte verwenden können.
Was haben wir jetzt?
Kürzlich besuchten wir eine Gasverarbeitungsfirma. Das Unternehmen ist groß, vereint mehrere Fabriken. Wir gingen in den Kontrollraum. Dort ist alles sehr gut ausgestattet: Jeder Dispatcher hat 6-8 Monitore und an den Wänden befindet sich riesiges Plasma. Das ist nur der Inhalt dieser Plasmen ... lässt zu wünschen übrig. Eine seltsam aussehende Karte, dumme Pfeile, über diesem Fenster von Windows, die die schreckliche Folter überstanden hat und einige Zahlen zeigt.
"Warum so vyrviglazn? - Wir fragen. „Dies ist das Beste, was wir aus unseren industriellen Systemen herausholen können“, hören wir als Antwort. Die Reaktionszeit des Dispatchers auf einen Vorfall sollte normalerweise 30 Sekunden nicht überschreiten, aber mit einer solchen Schnittstelle ist es nicht einfach, sie zu erfüllen. Kein BI hier und riecht nicht.
Eine andere Geschichte ohne Schnittstelle. Datenwissenschaftler kommen in die Anlage und sagen: "Geben Sie diese Daten über Ihre Installation an, und wir können die darin enthaltenen Probleme mit einer Genauigkeit von 95% vorhersagen." Zumindest versprechen sie es. Sie nicken der Pflanze zu und für Datenwissenschaftler beginnt das Drehbuch in den besten Traditionen von Kafka. Spot-Datenerfassung. Nach hundert Systemen. Für jede müssen Sie fünf Anweisungen schreiben. Fügen Sie dem fünften Knie eine persönliche Biografie und einen Stammbaum bei. Bestehen Sie alle Analysen, fügen Sie sie einem Aufsatz zu einem freien Thema bei und fangen Sie die gute Laune des Chefs ein. Und nur dann können wir auf Erfolg zählen. Genauer gesagt, Hoffnung.
Werksanalyse
Um Probleme wie die oben beschriebenen zu lösen, müssen Sie sich mit Analytics in der Branche anfreunden. Zu diesem Zweck bauen wir ein einziges System mit einer
integrierten Architektur auf. Ein solches System kann mit völlig unterschiedlichen Datentypen arbeiten und auf deren Grundlage analytische Probleme lösen. Wir bauen ein
System mit einer integrierten Architektur und nicht mit etwas Universellem, weil universelle Systeme alle Probleme gleichermaßen schlecht lösen. In einer komplexen Architektur kombinieren wir Analysetools für verschiedene Datentypen. So könnte es aussehen:
Es gibt viele Arten von Daten in der Produktion. Es gibt klassische relationale Daten aus Geschäftssystemen und Buchhaltungssystemen. Es gibt Daten von Gerätesensoren - Zeitreihen. Es gibt Ereignisse aus der Videoanalyse - sie werden in eine Datenanalyse eingefügt und eine integrierte Überwachung wird für sie durchgeführt (dies ist jetzt ein beliebtes Thema). Es gibt Protokolle von Geschäftssystemen, die für die weitere Verarbeitung indiziert werden müssen (wir verwenden Apache Solr), um unter Berücksichtigung von Überwachungskameras ein reales Bild der Produktionsabläufe zu erhalten und um zu bewerten, wie Bediener auf bestimmte Ereignisse reagieren. Und das ist noch nicht alles, jede Produktion hat ihre eigene Kombination von Anforderungen. Letztendlich sollte die gesamte Arbeit mit Daten in einem einzigen Ökosystem verbunden sein, sodass Daten in einem zentralen Speicher mit flexiblen Zugriffseinstellungen und gemeinsamen Analysetools erfasst werden können.
Vor kurzem hatten wir ein Projekt: Organisation der Überwachung des technologischen Betriebs der Anlage sowie der Qualität der Rohstoffe. Das Überwachungssystem muss alle wichtigen Indikatoren in Echtzeit überwachen und mit den Standards unter Verwendung sehr origineller Formeln vergleichen. Wir nehmen Laboranalysen von Rohstoffen aus einer Datenbank und Leistungsindikatoren für Geräte aus einer anderen.
Dadurch erhält der Bediener ein umfassendes Bild davon, was in seiner Installation geschieht: Was Sie beachten müssen, ist es wert, die Arbeit anzuhalten, und wie ernst es ist. Für jede Abweichung von der normativen Arbeit muss der Bediener die Fehlerursache ermitteln. Dadurch ist die Wissensbasis über Vorfälle gewachsen.
Gleichzeitig werden alle Analysen über ein schönes und praktisches BI-System angezeigt. Sie können damit nicht nur einfache Berichte erstellen, sondern auch verständliche und intuitive Informationsfelder (Dashboards) erstellen. Und dies ist ein weiteres Argument, warum es so wichtig ist, Industriedaten mit Analysesystemen anzufreunden. Aus Gründen der NDA können wir keine Dashboards aus diesem Projekt anzeigen, im Gegensatz dazu geben wir öffentliche Beispiele für Ansätze zur Visualisierung von BI-Systemen und industriellen Systemen.
So könnten BI-Berichte aussehen:
Und hier ist die SCADA-Schnittstelle:
Im Rahmen der Entwicklung unserer Plattform erwägen wir, Predictive Analytics miteinander zu verbinden, um kausale Muster aufzudecken. Unterschiedliche Gründe führen zu unterschiedlichen Szenarien. Beispielsweise kann eine schlechte Qualität der Rohstoffe oder eine unsachgemäße Einstellung der Ausrüstung nach geplanter Wartung zu einer Verschlechterung der Qualität des Endprodukts oder eines Geräteausfalls führen.
Eine der wichtigsten Anforderungen an ein Analysesystem ist die Geschwindigkeit, mit der Informationen empfangen werden. Dies ist die Sammlung von Telemetrie von Sensoren und die Berechnung von Indikatoren (Plan / Fakt der Aggregationsindikatoren für den Workshop) im Echtzeitmodus. Auf diese Weise können Sie die Betriebsführung der Produktion anpassen.
So etwas funktioniert in einer schönen neuen Welt. Aber in Wirklichkeit gibt es Nuancen.
Industrielle Datenanalyse oder die Kopfschmerzen von Business Intelligence in der Produktion
Wie können Daten aus industriellen Systemen (die niemand wirklich sammelt) in einer für die Datenanalyse geeigneten Form reduziert werden? Eines der Standardprotokolle für Industriedaten ist OPC DA / HDA. Es scheint offen zu sein, aber nur Mitglieder des Konsortiums haben Zugang zu seinen Spezifikationen. Die Mitgliedschaft im Konsortium ist teuer und es gibt keine stabilen offenen Implementierungen dieses Protokolls.
Um
dieses und andere Industrieprotokolle mit modernen Analysesystemen zu verbinden , erstellen wir für jedes Protokoll Gateways. Dies wird von einem separaten Team industrieller Lösungen durchgeführt. Die große Anzahl von Zahlen in den Namen der Protokolle inspiriert sie. Das Team hat Erfahrung mit dem Schreiben von Industriesteckverbindern (z. B. mit dem OPC DA / HDA-Protokoll, mit dem PI SDK usw.).
Um
industrielle Protokolle mit der Welt der Big Data zu verbinden, verwenden wir Apache NiFi - ein Tool aus dem Hadoop-Ökosystem, mit dem Sie die Integration im Streaming-Verarbeitungsmodus implementieren können.
Durch den Aufbau dieser wichtigsten Brücke zwischen Industrie und Analytik konnten wir das Problem auf dem bekannten Hadoop-Stack lösen. In Industrieprojekten verwenden wir am häufigsten Distributionen unseres inländischen Partners Arenadata. Mit Apache Phoenix wählen wir JDBC-Daten mithilfe von SQL aus. In neueren Versionen wurde Phoenix für die Arbeit mit Zeitreihen optimiert, die in Industrieprojekten immer vorkommen.
Wir konnten das komplexe Analysesystem mit den Produkten eines Anbieters schließen, was für Unternehmenslösungen wichtig ist. Apache Spark wird verwendet, um Einstellungen (Abweichungen in den Betriebsmodi der Geräte), berechnete Indikatoren und andere KPIs zu berechnen - eine Komponente für die Durchführung verteilter Berechnungen im Echtzeitmodus innerhalb des Hadoop-Ökosystems.
Nuancen
Leider sind industrielle Protokolle kompliziert. Als wir das erste Mal eine Integration mit PI planten, hofften wir, dass wir die Standard-JDBC-Schnittstelle verwenden und einfach und schnell glücklich sein würden. Und als sie anfingen, mit der Schnittstelle zu arbeiten, stellte sich heraus, dass ihre Bandbreite nicht ausreichte, um aktuelle Daten zu laden. Ganz zu schweigen vom Herunterladen der Geschichte. Der Connector verfügt jedoch über eine eigene interne SDK-API, die schnell mit Daten arbeiten kann. Also haben wir ein spezielles Gateway für diese API geschrieben und das Problem gelöst.
Wir haben uns der Lösung dieses Problems so genähert, dass wir am Ende die Darstellung der Abweichungsperioden in Form einer Vitrine erhalten. Dazu musste berechnet werden, wie oft und wann die Indikatoren über die Norm hinausgingen. Wenn Sie die gesamte Geschichte auf der Suche nach Abweichungen analysieren, sind viele Ressourcen erforderlich. Also haben wir einfach eine Reihe von Werten durchlaufen und jeden nachfolgenden und vorherigen verglichen. Wenn beide normal / nicht normal sind, gibt es keine Abweichung / es geht weiter. Wenn einer der beiden nicht normal ist, zählen wir jeweils den Anfang oder das Ende der Abweichung. So konnten wir Rechenleistung sparen, als wir ein Schaufenster mit Statistiken für Analysten und Technologen erstellten.
Perspektiven
Der Zweck dieser Projekte in der Industrie besteht nicht nur darin, alles schön und klar zu machen, sondern auch eine Analyseplattform für die Produktion vorzubereiten und in ein digitales Unternehmen zu wechseln, in dem es möglich ist, alle Ereignisse an einem Ort zu sammeln und zu analysieren.
Die beschriebene Plattform ist für mehrere Abteilungen gleichzeitig nützlich. Wir haben das Problem der Leute gelöst, die die Produktion leiten. Wenn frühere Bediener nicht auf geringfügige Abweichungen im Gerätebetrieb reagieren konnten, müssen sie dies jetzt dem Management für jede Nichteinhaltung der Norm melden. Dies liefert im Moment Wert. Wir haben Digitalisierern und F & E-Diensten eine bequeme Informationsquelle zur Produktion zur Verfügung gestellt, mit der wir Ereignisse für einen beliebigen Zeitraum analysieren können - dies wird in Zukunft einen Mehrwert bieten.
Jetzt beschäftigen wir uns aktiv mit der Entwicklung solcher technologischer Plattformen und experimentieren mit der Implementierung. Im Allgemeinen bemühen wir uns, die Branche von der manuellen Steuerung weg zu bewegen, um die Produktionssteuerung zu automatisieren, wie in den Fabriken von Ilon Mask.
Wir werden uns freuen, mit allen zu sprechen - sowohl mit den Entwicklern und Architekten von Big Data (die wir in unser Team einladen können) als auch mit Digitalisierern, Produktionsmanagern, die über unsere Erfahrungen berichten und Optionen für die Zusammenarbeit anbieten. Für alle halten wir Big-Data-Meetings ab, bei denen wir gerne alle Themen und Vorschläge diskutieren.
Meine Mail lautet EOsipov@croc.ru