Data Engineering: Eine gefragte Rolle im Bereich der Data Science
[et_pb_section fb_built=”1″ _builder_version=”4.8.1″ _module_preset=”default” custom_padding=”3px|||||”][et_pb_row _builder_version=”4.8.1″ _module_preset=”default”][et_pb_column type=”4_4″ _builder_version=”4.8.1″ _module_preset=”default”][et_pb_text _builder_version=”4.8.1″ _module_preset=”default” min_height=”305px” hover_enabled=”0″ sticky_enabled=”0″]In den letzten zehn Jahren haben die meisten Unternehmen ernsthafte Anstrengungen in Richtung digitaler Projekte unternommen. Die Unternehmen begannen, Daten als einen Vermögenswert zu betrachten und die erzeugten Daten zu analysieren. Anfangs schien es vielversprechend, mit Hilfe zusätzlicher oder aktueller Daten genauere Geschäftsentscheidungen zu treffen. Da die gesammelten oder verwalteten Daten nicht sehr umfangreich waren, gab es keine ernsthaften Bedenken, und so lief alles gut… eine Zeit lang. Schließlich wurde festgestellt, dass viele solcher Datenprojekte scheiterten, meist aus ähnlichen Gründen. Im Jahr 2017 berichtete Gartner, dass 60 % der Big-Data-Projekte nicht über das Anfangsstadium hinauskamen. Der CTO von IBM sagte, dass 87 % der Datenprojekte es nie in die Produktion schaffen. Was ist die Ursache für solch ein massives Scheitern, und was ist der Grund, der überhaupt zu diesem Blog geführt hat? Während es üblich war, Data Scientists zu beschäftigen, die aus den Daten einen Sinn machen, wurde weniger daran gedacht, jemanden zu haben, der die Daten und ihre Infrastruktur verwaltet und ihre Qualität und Verfügbarkeit für die zuständigen Teams sicherstellt. Laut Gartner waren die gescheiterten Versuche auf einen Mangel an zuverlässigen Dateninfrastrukturen zurückzuführen, die Unfähigkeit, unvorstellbare Datenmengen zu verwalten, und die hohe Komplexität waren die Hauptursache. Das Problem ist, dass man vielleicht die richtigen Experten hat, um die Daten zu modellieren, zu visualisieren und Berichte zu erstellen. Aber wenn die Daten nicht systematisch verwaltet oder kuratiert werden, werden die immer größer werdenden Datenmengen den Prozess schließlich in den Wahnsinn treiben. Wenn die Analyse nicht korrekt ist, bedeutet das nicht immer, dass die Data Scientists oder die BI-Analysten etwas falsch machen, sondern es kann auch das Ergebnis von falsch verarbeiteten Daten sein. [/et_pb_text][et_pb_text admin_label=”Überschrift” _builder_version=”4.8.1″ _module_preset=”default” min_height=”82px” hover_enabled=”0″ sticky_enabled=”0″]
Was fehlt ?
[/et_pb_text][et_pb_text _builder_version=”4.8.1″ _module_preset=”default” hover_enabled=”0″ sticky_enabled=”0″]Denken Sie an eine MotoGP-Analogie mit Valentino Rossi als Fahrer. Der Fahrer und seine Fähigkeiten sind wichtig, um das Rennen zu gewinnen, aber er ist auch von einem Team von Experten und vor allem von einem Superbike abhängig. Vergleichen wir den Fahrer eines Rennens mit den BI-Analysten und Datenwissenschaftlern eines Unternehmens. Sie könnten die Besten auf ihrem Gebiet sein, wobei der eine versucht, das Rennen zu gewinnen, während die anderen versuchen, das Geschäftsziel zu erreichen, wobei jeder von ihnen in der Tat außergewöhnliche Fähigkeiten hat. Aber was kann ein Weltmeister in einem Rennen ohne sein Motorrad ausrichten? Die Unternehmen erwarten, dass der Fahrer das Rennen mit einer Pferdekutsche aus dem Mittelalter gewinnt und nicht auf einem Motorrad des 21. Jahrhundert. Dem Motorrad selbst, d. h. den Data Engineers und der Notwendigkeit von Data Engineering, wurde weniger Bedeutung beigemessen. [/et_pb_text][et_pb_text _builder_version=”4.8.1″ _module_preset=”default” hover_enabled=”0″ sticky_enabled=”0″]Um die Bedeutung von Data Engineering zu verdeutlichen, schauen wir uns die folgende Pyramide an. Die Data Science Bedürfnsipyramide wurde 2017 von Monica Rogati veröffentlicht und zeigt den Arbeitsaufwand und die Komplexität der einzelnen Schritte auf, wenn man aufsteigt. Die allgemeine Idee ist, dass die Grundlagen für ML- oder KI-Fähigkeiten stark genug sein müssen und ein engagiertes Team zur Verfügung stehen muss, um sicherzustellen, dass der Prozess des Sammelns, Speicherns und Erforschens der Daten auf die bestmögliche Weise durchgeführt wurde. Die analytischen Fähigkeiten beruhen vollständig auf der Leistung und Qualität dieser Daten und ihrer Architektur. Es reicht also nicht aus, den besten Fahrer für ihr KI oder ML Projekt zu haben, wenn man ihn immer noch mit einer Pferdekutsche fahren lässt. [/et_pb_text][et_pb_image src=”https://hubsters.de/wp-content/uploads/2021/08/projectcomplexity-1.png” title_text=”projectcomplexity” _builder_version=”4.8.1″ _module_preset=”default”][/et_pb_image][et_pb_text admin_label=”Überschrift” _builder_version=”4.8.1″ _module_preset=”default” min_height=”82px” hover_enabled=”0″ sticky_enabled=”0″]
Was ist Data Engineering?
[/et_pb_text][et_pb_text _builder_version=”4.8.1″ _module_preset=”default” hover_enabled=”0″ sticky_enabled=”0″]Data Engineering, ist die unscheinbare Schwester der Data Science, zumindest entsteht häufig dieser Eindruck zu dem Bereich, der in erster Linie aus ETL-, Business Intelligence- und Data Warehousing-Fähigkeiten besteht. Vor einem Jahrzehnt war die Datenmenge noch nicht groß genug, weshalb Data Engineering in der Regel auf PoC-Ebene blieb und nicht in die Produktion einfloss. Heutzutage erzeugen Unternehmen immer mehr Daten in einem immer höheren Tempo. Diese Daten müssen gesammelt, bereinigt und regelmäßig oder in Echtzeit aktualisiert werden. Parallel dazu haben sich die Datenbanktechnologien und Speicherlösungen weiterentwickelt, so dass Daten schneller und kostengünstiger gespeichert und genutzt werden können. Die Unternehmen sind daher bestrebt, den größtmöglichen Nutzen aus ihren Daten zu ziehen, und widmen dem Datenmanagement und den Datenprozessen große Aufmerksamkeit. Die Verwaltung der gesamten Datenlandschaft und der Pipeline-Prozesse ist jedoch eine Vollzeitaufgabe und erfordert ein engagiertes Data Engineering-Team. [/et_pb_text][et_pb_text admin_label=”Überschrift” _builder_version=”4.8.1″ _module_preset=”default” hover_enabled=”0″ sticky_enabled=”0″]
Was macht der Data Engineer?
[/et_pb_text][et_pb_text _builder_version=”4.8.1″ _module_preset=”default” hover_enabled=”0″ sticky_enabled=”0″]Ein Data Engineer könnte besser als ein Software-Ingenieur plus Business-Intelligence-Ingenieur mit Big-Data-Fähigkeiten vorgestellt werden. Kurz gesagt, ein Data Engineer sorgt dafür, dass die Rohdaten für das Unternehmen nützlicher sind. Die genauen Aufgaben und Verantwortlichkeiten eines Data Engineers variieren von Unternehmen zu Unternehmen, je nach deren Größe. Von einer kleinen bis hin zu einer großen Organisation kann ein Data Engineer als Generalist, Pipeline-zentriert oder datenzentriert arbeiten. Als Data Engineer können Sie an Projekten wie den folgenden beteiligt sein: – Entwurf der Architektur – Aufbau von ETL-Pipelines – Aufbau von Data Warehouse/Data Lake – Einsatz von Algorithmen für maschinelles Lernen – Verwaltung von Daten und Metadaten – Nachverfolgung der Pipelinestabilität [/et_pb_text][et_pb_text admin_label=”Überschrift” _builder_version=”4.8.1″ _module_preset=”default” hover_enabled=”0″ sticky_enabled=”0″]
Warum sollte es für ihr Unternehmen von Bedeutung sein?
[/et_pb_text][et_pb_text _builder_version=”4.8.1″ _module_preset=”default” hover_enabled=”0″ sticky_enabled=”0″]Da die Auswirkungen sind direkt in Ihrer finanziellen Leistung niederschlagen. Es gibt auch technische Vorteile, die ein Data-Engineering-Team mit sich bringt, aber für diesen speziellen Fall wäre es hilfreich, die Bedeutung des Data-Engineering im Hinblick auf Geld- und Zeiteinsparungen durch die “1-10-100”-Regel zu verstehen. [/et_pb_text][et_pb_image src=”https://hubsters.de/wp-content/uploads/2021/08/Qualitätsmgmt_DataEngineering_Grafik.png” title_text=”Qualitätsmgmt_DataEngineering_Grafik” _builder_version=”4.8.1″ _module_preset=”default”][/et_pb_image][et_pb_text _builder_version=”4.8.1″ _module_preset=”default” hover_enabled=”0″ sticky_enabled=”0″]Diese 1-10-100-Regel ist im Grunde eine Regel des Qualitätsmanagements, die jedoch auch für Data Science-Projekte relevant ist. Wie wir gesehen haben, sind viele Projekte aufgrund des Fehlens einer soliden Grundlage gescheitert. Die Kosten eines solchen Scheiterns sind das investierte Geld sowie die Zeit, die für die Entwicklung von etwas aufgewendet wurde, das keinen Ertrag brachte. Wie bereits in der Bedürfnishierarchie der Datenwissenschaft erwähnt, würde eine solide Basis Ihnen helfen, Korrekturkosten oder Kosten aufgrund von Fehlschlägen zu verringern. Und Data Engineering sorgt dafür, dass diese Basis stark genug und widerstandsfähig ist. [/et_pb_text][et_pb_text admin_label=”Überschrift” _builder_version=”4.8.1″ _module_preset=”default” hover_enabled=”0″ sticky_enabled=”0″]
Fazit
[/et_pb_text][et_pb_text _builder_version=”4.8.1″ _module_preset=”default” hover_enabled=”0″ sticky_enabled=”0″]Unternehmen werden immer Analysen benötigen, die auf den neuesten Daten basieren, die in ihren Data Warehouses gespeichert sind, wo die Daten strukturiert, kuratiert und leicht zugänglich gemacht werden. Die Art und Weise, wie diese Data Warehouses aufgebaut sind, wird sich mit der Entwicklung der Datenbanktechnologien und der Zunahme der eingehenden Daten ändern. Und deshalb braucht man Data Engineering und Data Engineers, um diese Veränderungen zu bewältigen.[/et_pb_text][et_pb_text _builder_version=”4.8.1″ _module_preset=”default” hover_enabled=”0″ sticky_enabled=”0″]Sollten auch sie an diesem Punkt angekommen sein, dass ihr BI und Data Science Team kontinuierlich neue Anforderungen erhält bzgl. Daten bisher nicht integrierter Unternehmensbereiche, dann wird es Zeit, dass wir uns zu diesen Themen unterhalten und die zukünftige Struktur ihres Data Engineering Teams besprechen.[/et_pb_text][et_pb_button button_url=”@ET-DC@eyJkeW5hbWljIjp0cnVlLCJjb250ZW50IjoicG9zdF9saW5rX3VybF9wYWdlIiwic2V0dGluZ3MiOnsicG9zdF9pZCI6IjIwOTQifX0=@” url_new_window=”on” button_text=”Newsletter Anmeldung” button_alignment=”center” _builder_version=”4.8.1″ _dynamic_attributes=”button_url” button_text_color=”#303344″ button_bg_color=”#efd430″ button_border_color=”rgba(0,0,0,0)” button_border_radius=”30px” button_letter_spacing=”2px” button_font=”Poppins|600|||||||” button_use_icon=”off” custom_padding=”16px|32px|16px|32px|true|true” animation_style=”slide” animation_direction=”right” animation_intensity_slide=”5%” button_text_size__hover_enabled=”off” button_text_color__hover_enabled=”off” button_bg_color__hover_enabled=”off” button_border_color__hover_enabled=”off” button_border_radius__hover_enabled=”off” button_letter_spacing__hover=”2px” button_letter_spacing__hover_enabled=”on” button_border_width__hover_enabled=”off”][/et_pb_button][/et_pb_column][/et_pb_row][et_pb_row _builder_version=”4.8.1″ _module_preset=”default” custom_margin=”|auto|-43px|auto||”][et_pb_column type=”4_4″ _builder_version=”4.8.1″ _module_preset=”default”][et_pb_divider color=”#303344″ _builder_version=”4.8.1″ _module_preset=”default”][/et_pb_divider][/et_pb_column][/et_pb_row][/et_pb_section][et_pb_section fb_built=”1″ _builder_version=”4.8.1″ _module_preset=”default” min_height=”199px” custom_padding=”0px|||||”][et_pb_row column_structure=”1_3,2_3″ _builder_version=”4.8.1″ _module_preset=”default” min_height=”218px” custom_padding=”||2px|||”][et_pb_column type=”1_3″ _builder_version=”4.8.1″ _module_preset=”default”][et_pb_image src=”https://hubsters.de/wp-content/uploads/2021/01/BIld2.jpg” alt=”Peter Schmäling” title_text=”BIld2″ _builder_version=”4.8.1″ _module_preset=”default”][/et_pb_image][/et_pb_column][et_pb_column type=”2_3″ _builder_version=”4.8.1″ _module_preset=”default”][et_pb_blurb title=”Tushar Poojary” _builder_version=”4.8.1″ _module_preset=”default”]
Tushar Poojary is a Junior Solution Architect at HUBSTER.S
[/et_pb_blurb][et_pb_blurb _builder_version=”4.8.1″ _module_preset=”default”]
[/et_pb_blurb][/et_pb_column][/et_pb_row][/et_pb_section]
