Svetlana Kayushina, Leiterin der Dokumentations- und Lokalisierungsabteilung.
Unsere Dokumentationsabteilung hat mehrere Entwicklungsstufen durchlaufen. Zuerst gab es einen technischen Redakteur, der die Aufgaben eines einzelnen Kunden erledigte. Dann wurde eine Gruppe von technischen Redakteuren gebildet, die eine begrenzte Anzahl von Aufgaben lösten. Jetzt haben wir eine große Produktionsabteilung, die die Anforderungen des Unternehmens an die Dokumentation voll erfüllt.
In jeder Phase änderten sich die Anforderungen an die Arbeit der Abteilung, und neue Metriken schienen die Qualität der Dokumentation und den Service für die Bereitstellung von Dokumentationsservices zu messen. Metriken helfen uns, das Produkt, die Prozesse und die Qualität zu verbessern und rechtzeitig über Fehler zu informieren.
Erste Metriken
Der erste technische Redakteur wurde von Yandex benötigt, um die Technologie zu dokumentieren, die fast alle Entwickler verwendeten. Informationen darüber wurden mündlich aneinander weitergegeben, sodass ein Teil davon unweigerlich verloren ging oder verzerrt wurde.
Die Dokumentation wurde geschrieben, die Kunden waren zufrieden und wir entschieden uns, andere Bereiche zu beherrschen. Wir haben mit einer Beschreibung der Dienstleistungen begonnen, die für das Geschäft von entscheidender Bedeutung sind: Sie werden von vielen Mitarbeitern des Unternehmens verwendet.
Kunden haben uns in der Anfangsphase die Aufgabe gestellt, die Technologie zu dokumentieren. Die einzige Metrik war die Verfügbarkeit von Dokumentation: Sie wurde entweder geschrieben oder nicht. Wenn ein technischer Redakteur alleine war, wurde die Qualität vom Kunden selbst bewertet. Als es mehr Autoren gab, kamen Serviceberater zu den Kunden, und wir überprüften die Qualität der Dokumentation innerhalb der Abteilung.
Der Aufgabenfluss nahm ständig zu, so dass es ein Problem gab, ein einziges Qualitätsniveau aufrechtzuerhalten. Expertenbewertung ist eher subjektiv, aber wir wollten, dass sie unabhängig ist.
Darüber hinaus stellten sich Kunden Aufgaben unterschiedlicher Komplexität: Zum Beispiel die Erfassung von Informationen, die eine Person kannte, oder die Beschreibung komplexer Technologien für die Entwicklung unserer externen Produkte.
All dies führte zu bestimmten Problemen. Daher brauchten wir ein System zur Priorisierung von Aufgaben und zur Bewertung der Qualität der Dokumentation.
Interne Dokumentationsmetriken
Wir begannen, Feedback von internen Kunden und Lesern zu sammeln, die die Dokumentation zur Lösung ihrer Probleme verwendeten. Ein Kunde könnte uns beispielsweise mitteilen, dass er 10 Stunden pro Woche aufgehört hat, seine Kollegen zu konsultieren, und jetzt seine Hauptarbeit produktiver erledigt.
Wir haben die Leser gefragt, wie gut die Dokumentation ihnen bei der Lösung von Problemen hilft. Verfolgte Anwesenheit: Wie viele Benutzer pro Woche greifen auf Dokumente zu? Wenn mehr als eine bestimmte Anzahl vorhanden ist, ist das Dokument eine Unterstützung wert.
Diese Methode erforderte erhebliche Kosten und einen direkten Zugang zum Kunden. Unter Bedingungen der Massenverwendung von Dokumentation erwies es sich als zu teuer und schlecht anwendbar. Als wir mit der Entwicklung der Dokumentation für externe Benutzer begannen, traten daher Probleme auf.
Das Publikum ist gewachsen, wir hatten keinen direkten Zugang dazu. Wir haben Bewertungen in sozialen Netzwerken und Anfragen zum technischen Support verfolgt, aber das war nicht genug. Ich musste Hypothesen darüber aufstellen, wer unser Benutzer ist, um seine Bedürfnisse so gut wie möglich zu befriedigen. Zur Beurteilung des Benutzerverhaltens und der Produktleistung haben wir Yandex.Metrica verwendet.
Entwicklung eines metrischen Systems zur externen Dokumentation
Die Geschäftsziele änderten sich nicht wesentlich, aber es trat eine neue Bedingung auf: Wir mussten es schaffen, die Dokumentation für die offizielle Veröffentlichung vorzubereiten. Jetzt mussten wir die Fristen einhalten.
Wir haben weiterhin die vorherigen Metriken verwendet, aber die Anwesenheit und Ablehnung von Dokumentationsdiensten wurden hinzugefügt. Sie wurden sowohl für den gesamten Dienst als auch für einzelne Dokumente verfolgt.
Technische Redakteure verwendeten zusätzliche Daten, um die Qualität der Dokumentation zu verbessern:
- Analyse des Benutzerverhaltens des Dienstes,
- Heatmap von Klicks,
- Web Viewer
- Bewertung von Suchanfragen usw.
Dann gingen wir zur Massenproduktion über und wurden zu einem Dienst für die Bereitstellung von Dokumentationsdiensten.
Dokumentation Massenproduktionsmetriken
Zu diesem Zeitpunkt haben Kunden und Management neue Anforderungen an die Dokumentationsabteilung.
Die Kunden interessierten sich für den Zeitpunkt und die Bewertung der Komplexität der Aufgaben. Zum Beispiel fragten sie, warum wir ein Dokument für zwei Wochen und nicht für zwei Tage schreiben. Gleichzeitig erwarteten sie von uns hohe Qualität.
Das Management war an einer Kostenbegründung interessiert. Um eine Person für die Abteilung einzustellen, mussten wir uns darüber streiten. Zum Beispiel könnten wir einen messbaren Nutzen eines Dokuments zeigen, wenn es die Probleme nicht einiger Benutzer, sondern mehrerer Tausender löst und den technischen Support entlastet.
Unsere statistischen Kennzahlen reichten nicht mehr aus, um diese Fragen zu beantworten.
Im Zusammenhang mit der Massenproduktion haben wir mehrere Hauptaufgaben:
- Dokumententechnologie
- Bleiben Sie mit den Veröffentlichungen auf dem Laufenden,
- bieten ein hohes Maß an Qualität.
Dies erfordert einen integrierten Ansatz für alles, was wir tun.
Darüber hinaus müssen wir als Dienstleistung die Qualität unserer Dienstleistungen bewerten. Wir müssen verstehen, wie zufrieden Benutzer sind und welche Vorteile eine qualitativ hochwertige Dokumentation bringt.
Um ein neues Bewertungssystem zu entwickeln, haben wir eine Studie durchgeführt und eine Vielzahl von Quellen analysiert: Insgesamt wurden 136 Metriken gefunden. Abgesehen von der Tatsache, dass es zu viele von ihnen gibt, sind nicht alle leicht zu messen und wir brauchen nicht alle. Aus diesem Grund haben wir Metriken ausgewählt, die unseren Bedingungen entsprechen.
Wir waren an folgenden Aspekten der Bewertung interessiert:
- Design- und Geschäftsmetriken sind Indikatoren für die Effektivität der Servicequalität insgesamt. Sie werden benötigt, um die Kundenzufriedenheit zu erhöhen und die Ressourcen der Abteilung für die Ausführung aller Aufgaben vorherzusagen.
- Dokumentieren Sie Qualitätsbewertungsmetriken, um die Benutzerzufriedenheit zu verbessern.
Bei der Auswahl der Metriken haben wir die Komplexität und die Kosten der Berechnung der Metrik berücksichtigt. Für uns ist es auch wichtig, dass die Essenz und Berechnung der Metrik für Menschen klar ist, die nicht in die Nuancen unseres Produktionsprozesses eingetaucht sind.
Als Ergebnis haben wir 20 von 136 Metriken ausgewählt und sie dann in vier Gruppen unterteilt. Wir zeigen Metrikdaten in Dashboards an, die jedem Mitarbeiter des Unternehmens zur Verfügung stehen.
Im nächsten Teil des Artikels werden wir die Metriken für die Entwicklung und Unterstützung der Dokumentation und deren Berücksichtigung detaillierter beschreiben. Melden Sie sich für neue Kommentare an - wir werden Sie über die Veröffentlichung des nächsten Teils des Berichts informieren.