Fähigkeiten für Machine-Learning-Engineers: Was Sie lernen sollten

Machine-Learning-Engineering erfordert mehr als Modelltraining. Verbinden Sie zentrale Fähigkeiten mit praktischen Aufgaben, um Ihre Stärken zu erkennen und Ihren nächsten Lernschritt zu bestimmen

Machine-Learning-Engineers benötigen Kenntnisse in Programmierung, Datenaufbereitung, Modellbewertung und Softwareentwicklung sowie Fähigkeiten für den laufenden Betrieb. Python ist eine hilfreiche Grundlage. Zur Arbeit gehört jedoch auch, Vorhersageprozesse reproduzierbar, nutzbar und zuverlässig zu gestalten. Wie tief Ihre Kenntnisse in den einzelnen Bereichen sein müssen, hängt von der Rolle ab.

Betrachten Sie ein Modell, das in einem Notebook vielversprechende Ergebnisse liefert. Eine neue Datendatei enthält eine erforderliche Spalte nicht, und der Vorhersageprozess stoppt. Um dieses Problem zu bearbeiten, reicht es nicht, den besten Algorithmus zu kennen: Sie benötigen Eingabeprüfungen, verständliche Fehlermeldungen und einen wiederholbaren Ablauf.

Wenn Sie grundlegende Programmier- oder Analysekenntnisse haben, können Sie anhand der folgenden Fähigkeiten einschätzen, was Sie bereits zeigen können und wo Sie weitere Übung benötigen.

Einen umfassenderen Überblick über Aufgaben und Entwicklungsabläufe bietet unser Leitfaden zu Machine Learning Engineering.

Fähigkeiten für Machine-Learning-Engineers im Überblick

Eine hilfreiche Selbsteinschätzung verbindet Wissen mit einer konkreten Handlung. Einen Bibliotheksnamen zu kennen ist etwas anderes, als die Bibliothek angemessen einzusetzen, Ergebnisse zu erklären und einen Fehler zu untersuchen.

Diese Beispiele veranschaulichen praktische Nachweise. Sie sind keine Anforderungen, die für jede Stelle gelten. Ein kleines Projekt kann nützliche Fähigkeiten zeigen, ohne Erfahrung mit einem großen Produktivsystem zu belegen.

Ziel ist, die Anforderungen einer Aufgabe zu verstehen, geeignete Methoden auszuwählen und zu erkennen, wann Ihr Ansatz genauer untersucht werden muss.

Python und SQL: zuverlässig mit Code und Daten arbeiten

Programmierkenntnisse zeigen sich darin, dass Sie nützlichen Code entwickeln, erklären, prüfen und warten können.

Üben Sie in Python Funktionen, Module, Datenstrukturen, Fehlerbehandlung und die Verwaltung von Abhängigkeiten. Entwickeln Sie Ihre Arbeit über das Kopieren von Notebook-Zellen hinaus und erstellen Sie Komponenten mit klaren Ein- und Ausgaben.

SQL hilft Ihnen, strukturierte Daten abzurufen und zu untersuchen. Üben Sie Filter, Verknüpfungen, Aggregationen und Prüfungen auf unerwartete Ergebnisse. Eine erfolgreich ausgeführte Abfrage kann trotzdem einen ungeeigneten Datensatz liefern, beispielsweise wenn eine Verknüpfung Datensätze vervielfacht.

Für ein hypothetisches Nachfrageprognoseprojekt könnten Sie Verkaufsdaten abrufen, Produktkennungen prüfen und eine Eingabetabelle für die Modellierung erstellen. Dokumentieren Sie, was jeder Datensatz darstellt und wie fehlende Werte behandelt werden.

Was Sie üben können: Schreiben Sie ein Verarbeitungsskript, das erforderliche Felder prüft und Probleme verständlich meldet.

Woran Sie Ihr Verständnis erkennen: Eine andere Person kann den Prozess ausführen, Ihre Annahmen nachvollziehen und verstehen, was bei einer ungültigen Eingabe geschieht.

Weitere Programmiersprachen können für bestimmte Systeme wichtig sein. Sie müssen jedoch nicht Python, R, Java, C++ und Scala beherrschen, bevor Sie mit praktischer ML-Arbeit beginnen.

Mathematik und Statistik: Ergebnisse verstehen

Mathematik und Statistik helfen Ihnen zu verstehen, wie ein Modell arbeitet und ob seine Ergebnisse eine Schlussfolgerung stützen. Die erforderliche Tiefe hängt von den verwendeten Methoden und Ihren Aufgaben ab.

Verbinden Sie Konzepte mit Entscheidungen. Können Sie erklären, weshalb ein ungewöhnlicher Datenwert untersucht werden sollte? Welche Informationen benötigen Sie, bevor Sie einen kleinen Unterschied zwischen zwei Bewertungsergebnissen als bedeutsame Verbesserung einordnen?

Was Sie üben können: Erklären Sie die Annahmen eines Modells und seine Bewertungsergebnisse in eigenen Worten.

Woran Sie Ihr Verständnis erkennen: Sie können benennen, was die Ergebnisse belegen, was unsicher bleibt und was Sie als Nächstes untersuchen würden.

Fortgeschrittene Herleitungen können in bestimmten Spezialisierungen wichtig sein. Sie ersetzen jedoch nicht das Verständnis der Methoden, die Sie im eigenen Projekt verwenden.

Datenaufbereitung und Feature Engineering: geeignete Eingaben erstellen

Bei der Datenaufbereitung prüfen Sie, ob das Modell nutzbare Informationen erhält. Dazu gehören fehlende Werte, doppelte Datensätze, uneinheitliche Formate, unerwartete Kategorien und ungeeignete Eingaben.

Feature Engineering bezeichnet das Erstellen oder Umformen der Eingangsmerkmale eines Modells. Bei einer Nachfrageprognose könnten dies frühere Verkaufszahlen oder Informationen über Werbeaktionen sein, die vor der Prognose bekannt sind.

Der Zeitpunkt der Verfügbarkeit ist entscheidend. Enthält ein Merkmal Informationen, die erst nach dem Vorhersagezeitpunkt vorliegen, kann Datenleckage entstehen. Dadurch kann die Bewertung unrealistisch günstig ausfallen.

Wenden Sie Transformationen während der Entwicklung und bei späteren Vorhersagen konsistent an. Die offizielle scikit-learn-Anleitung zu häufigen Fehlern erläutert uneinheitliche Vorverarbeitung und Datenleckage. Dazu gehört, Vorverarbeitungsparameter aus den Trainingsdaten zu bestimmen, ohne Informationen aus den Testdaten zu verwenden.

Im hypothetischen Nachfrageprojekt könnte ein fehlender Verkaufseintrag auf fehlende Nachfrage, nicht verfügbare Ware oder einen Erfassungsfehler zurückgehen. Ersetzen Sie ihn ungeprüft durch null, wird eine Annahme zur Modelleingabe.

Was Sie üben können: Erstellen Sie eine Vorverarbeitung mit eindeutigen Regeln, Prüfungen und Tests.

Woran Sie Ihr Verständnis erkennen: Sie können jede Transformation erklären, konsistentes Verhalten zeigen und Informationen erkennen, die ausgeschlossen werden sollten.

Modellbewertung: erkennen, ob ein Ansatz nützlich ist

Ein Bewertungsergebnis wird aussagekräftig, wenn es eine definierte Frage mit einer geeigneten Methode beantwortet.

Beginnen Sie mit einer Baseline, also einem einfachen Referenzverfahren für den Vergleich mit einem anderen Modell. Damit können Sie beurteilen, ob zusätzliche Komplexität eine sinnvolle Verbesserung bringt.

Unterscheiden Sie die Aufgaben von Trainings-, Validierungs- und Testdaten. Trainingsdaten passen das Modell an. Validierungsdaten unterstützen Entwicklungsentscheidungen. Testdaten dienen der abschließenden Bewertung.

Wählen Sie eine Datenaufteilung, die den vorgesehenen Einsatz widerspiegelt. Berücksichtigen Sie bei Prognosen die zeitliche Reihenfolge, damit spätere Informationen frühere Vorhersagen nicht beeinflussen. In anderen Anwendungen müssen zusammengehörige Datensätze möglicherweise in derselben Teilmenge bleiben. Andernfalls könnten beispielsweise Datensätze derselben Person sowohl in Trainings- als auch in Testdaten erscheinen.

Wählen Sie eine passende Kennzahl und erklären Sie, welche Fehler sie besonders berücksichtigt. Untersuchen Sie Abweichungen über relevante Zeiträume oder Gruppen hinweg, statt ausschließlich einen Durchschnitt zu betrachten.

Was Sie üben können: Schreiben Sie einen Bewertungsbericht mit Referenzverfahren, Datenaufteilung, Kennzahl, Fehlermustern und Einschränkungen.

Woran Sie Ihr Verständnis erkennen: Sie können die Bewertung begründen und erklären, ob die Ergebnisse den Einsatz des Ansatzes unterstützen.

Eine günstige Kennzahl allein belegt keine Eignung für den produktiven Betrieb. Eingabequalität, Integration, Zuverlässigkeit und die Folgen von Fehlern müssen ebenfalls berücksichtigt werden.

Softwareentwicklung: die Arbeit reproduzierbar machen

Softwareentwicklung hilft Ihnen, experimentelle Arbeit in ein Projekt zu überführen, das andere ausführen, testen und warten können.

Trennen Sie Aufbereitung, Training, Bewertung und Vorhersage in wiederverwendbare Komponenten. Dokumentieren Sie Änderungen mit Git. Halten Sie Konfigurationen und Abhängigkeiten fest, statt Einstellungen vorauszusetzen, die nur auf Ihrem Computer vorhanden sind.

Tests sollten relevantes Verhalten prüfen. Kontrollieren Sie beispielsweise, ob eine wichtige Transformation die erwartete Ausgabe erzeugt und fehlende Pflichtfelder eine verständliche Reaktion auslösen.

Erfassen Sie relevante Versuchseinstellungen, Datenreferenzen und Modellversionen. Ein Modellartefakt ist ein gespeichertes Trainingsergebnis, das später für Vorhersagen verwendet wird.

Reproduzierbarkeit erfordert mehr als einen festen Startwert für Zufallsprozesse, auch Random Seed genannt. Daten, Abhängigkeiten, Hardware und Ausführungseinstellungen können Ergebnisse ebenfalls beeinflussen.

Was Sie üben können: Erstellen Sie für ein kleines Projekt Einrichtungsanweisungen, Ausführungsbefehle, Angaben zu Abhängigkeiten und Tests.

Woran Sie Ihr Verständnis erkennen: Sie können das Projekt anhand seiner Dokumentation in einer neu eingerichteten Umgebung ausführen und verbleibende Ursachen für Abweichungen erklären.

Ziel ist wiederholbare Arbeit mit nachvollziehbaren Entscheidungen. Eine komplexe Verzeichnisstruktur allein belegt diese Fähigkeit nicht.

Bereitstellung und MLOps: ein funktionierendes Vorhersagesystem unterstützen

Ein trainiertes Modell benötigt einen geeigneten Prozess, um Eingaben zu empfangen und Vorhersagen auszugeben. Zusätzlich sind Prüfungen erforderlich, die den Zustand dieses Prozesses erkennbar machen.

Vorhersagen über eine geeignete Schnittstelle bereitstellen

Durch die Bereitstellung wird das Modell für eine Anwendung oder einen Arbeitsablauf nutzbar. Inferenz bezeichnet die Verwendung des Modells zur Erstellung von Vorhersagen.

Bei der Stapelverarbeitung, auch Batch-Prediction genannt, wird eine Sammlung von Eingaben verarbeitet, häufig nach einem Zeitplan. Bei Vorhersagen auf Anfrage werden Ergebnisse erzeugt, wenn eine Anwendung sie anfordert.

Wählen Sie das Verfahren passend zur Aufgabe. Eine wöchentliche Planung benötigt möglicherweise zeitgesteuerte Ausgaben. Eine andere Anwendung kann einzelne Vorhersagen auf Anfrage benötigen.

Was Sie üben können: Erstellen Sie einen Stapelverarbeitungsprozess oder eine Vorhersage-API mit Eingabeprüfung und dokumentierten Ausgaben. Eine API ist eine definierte Schnittstelle, über die Softwarekomponenten Anfragen und Ergebnisse austauschen.

Woran Sie Ihr Verständnis erkennen: Eine andere Person kann den Prozess nutzen, ohne Notebook-Zellen manuell auszuführen.

Den Betrieb überwachen und Änderungen kontrollieren

MLOps, kurz für Machine Learning Operations, verbindet Entwicklungs- und Betriebspraktiken.

Die Google-Cloud-Anleitung zu MLOps-Praktiken für Tests, Bereitstellung und Automatisierung beschreibt Validierung, Automatisierung und Überwachung von ML-Systemen.

Üben Sie, Fehler zu protokollieren, die Aktualität von Vorhersageausgaben zu prüfen, Versionen zu erfassen und Änderungen vor der Freigabe zu bewerten.

Überwachen Sie neben dem Softwarebetrieb auch Veränderungen der Daten. Datendrift bedeutet, dass sich die Verteilung der Eingaben verändert hat. Sie beweist für sich genommen keine Verschlechterung der Vorhersagequalität.

Was Sie üben können: Verwenden Sie eine ungültige Eingabe oder simulieren Sie einen Verarbeitungsfehler. Untersuchen Sie anschließend die Reaktion.

Woran Sie Ihr Verständnis erkennen: Sie können das Problem erkennen, seine Ursache erklären und den Betrieb anhand einer dokumentierten Vorgehensweise wiederherstellen.

Kommunikation und verantwortungsvolle Praxis: Entscheidungen verständlich erklären

Technische Entscheidungen benötigen Erklärungen, mit denen andere arbeiten können.

Beschreiben Sie die Aufgabe, relevante Annahmen, Bewertungsentscheidungen und bekannte Einschränkungen. Erklären Sie, wann Ausgaben vorsichtig interpretiert werden sollten und welche Informationen Ihre Einschätzung verändern würden.

Dokumentieren Sie außerdem, wer den Vorhersageprozess wartet, Warnmeldungen prüft und Änderungen freigibt.

Berücksichtigen Sie die zulässige Datennutzung, Datenschutz, Zugriffskontrollen und relevante Unterschiede in der Modellleistung. Dies sind praktische Gesichtspunkte. Welche rechtlichen Anforderungen gelten, hängt von den Daten, der Anwendung und dem Rechtsraum ab.

Was Sie üben können: Schreiben Sie eine kurze Projektzusammenfassung für eine Person, die das System nicht entwickelt hat.

Woran Sie Ihr Verständnis erkennen: Diese Person kann nachvollziehen, was das Modell tut, wie es bewertet wurde, wo es versagen könnte und wer für den Betrieb verantwortlich ist.

Verständliche Kommunikation gehört zur technischen Arbeit, insbesondere wenn Vorhersagen Entscheidungen anderer Personen beeinflussen.

Welche Fähigkeiten hängen von der Rolle ab?

Manche Fähigkeiten benötigen Sie erst dann in größerer Tiefe, wenn die Aufgabe sie verlangt. Orientieren Sie sich an den tatsächlichen Verantwortlichkeiten.

Sie müssen nicht sowohl PyTorch als auch TensorFlow beherrschen, um Kenntnisse in Deep Learning zu zeigen. Ebenso sollten Kubernetes oder ein Projekt mit einem Agenten auf Basis eines großen Sprachmodells, auch LLM genannt, einen nachvollziehbaren Zweck erfüllen.

Unterscheiden Sie die zugrunde liegende Fähigkeit von ihrer Umsetzung. Das Verständnis von Eingabeprüfungen ist übertragbar. Der Betrieb eines bestimmten Cloud-Dienstes erfordert zusätzlich plattformspezifisches Wissen.

Ihre nächste Wissenslücke erkennen

Bewerten Sie jeweils eine Fähigkeit anhand von vier Fragen:

• Kann ich sie erklären? Sie verstehen ihren Zweck und ihre Grenzen.

• Kann ich die Aufgabe mit Anleitung ausführen? Sie können einem ausgearbeiteten Vorgehen folgen.

• Kann ich die Aufgabe selbstständig ausführen? Sie können eine begrenzte Aufgabe bearbeiten und Entscheidungen begründen.

• Kann ich das Ergebnis testen und Fehler untersuchen? Sie können unerwartetes Verhalten analysieren und darauf reagieren.

Diese Fragen dienen der Selbsteinschätzung. Sie bilden keine offizielle Kompetenzskala.

Wählen Sie eine Wissenslücke und definieren Sie eine konkrete Übungsaufgabe.

Der GCI-Kurs Machine Learning Engineer Professional Diploma umfasst laut veröffentlichtem Lehrplan Grundlagen, ML-Verfahren, Data Engineering, produktives ML und MLOps, Governance sowie ein Abschlussprojekt. Die veröffentlichten Voraussetzungen nennen grundlegende Python-Kenntnisse und Grundlagen in Mathematik und Statistik.

Der Kursabschluss allein belegt keine Eignung für eine bestimmte Stelle und garantiert keine Beschäftigung.

Prüfen Sie den Lehrplan und die Teilnahmevoraussetzungen, um einzuschätzen, ob der Kurs zu Ihren festgestellten Lernbedürfnissen passt.