Data Engineer vs Data Scientist – Vermeidung von Fehlern bei der Ressourcenzuweisung
[et_pb_section fb_built=”1″ _builder_version=”4.8.1″ _module_preset=”default” custom_padding=”3px|||||”][et_pb_row _builder_version=”4.8.1″ _module_preset=”default”][et_pb_column type=”4_4″ _builder_version=”4.8.1″ _module_preset=”default”][et_pb_text _builder_version=”4.8.1″ _module_preset=”default” min_height=”305px”]Unternehmen, die in große datengetriebene Projekte investieren, müssen eine klare Vorstellung von den zugehörigen Rollen wie Data Engineer, Data Scientist und Data Analysts haben sowie gleichzeitig verstehen, wie sie sich voneinander unterscheiden. Auch wenn sich die Aufgaben dieser Rollen teilweise überschneiden, könnte es die Effizienz des Projektes ernsthaft beeinträchtigen, wenn eine Rolle als langfristige Vertretung für die andere arbeitet. Daher ist es hilfreich, sich ein besseres Bild davon zu machen, wofür die einzelnen Rollen gedacht sind und wo sie besser funktionieren. Einer der einfachsten Vergleiche, der überall verwendet wird, ist das nachstehende Venn-Diagramm, das eine Vorstellung von den einzelnen Fachgebieten und deren Überschneidungen vermittelt. Data Engineer hat einen technischen Hintergrund, der eine Kombination aus Software-Engineering Kompetenz und statistischer Affinität repräsentiert. Der Data Analyst hingegen kommt aus dem Bereich der Unternehmenskommunikation und kennt sich mit Reporting-Tools aus, hat aber weniger Programmierkenntnisse. Data Scientist hingegen kombinieren mathematische und statistische Kenntnisse mit einem fundierten Geschäftsverständnis und ergänzen diese mit Programmier- und Big-Data-Technologien. [/et_pb_text][et_pb_image src=”https://hubsters.de/wp-content/uploads/2021/09/BI_SW_STAT_overlap_graphic.png” title_text=”BI_SW_STAT_overlap_graphic” _builder_version=”4.8.1″ _module_preset=”default”][/et_pb_image][et_pb_text _builder_version=”4.8.1″ _module_preset=”default” min_height=”162px”]Obwohl wir alle drei Rollen vergleichen können, werden wir den Datenanalysten ausschließen, in erster Linie aus Gründen der Übersichtlichkeit und in zweiter Linie, weil der Datenanalyst am Ende einer Datenarchitektur steht und keine verwirrenden Überschneidungen wie die beiden anderen Rollen, d. h. Data Engineer und Data Scientist, aufweist. Das Ziel dieses Blogs ist auch kein tatsächlicher Vergleich, um zu sehen, wer besser zuschlagen kann, oder sie zu vergleichen, um ihre Bedeutung zu gewichten und zu sehen, wer ein besseres Geschwisterchen ist. Das Ziel ist vielmehr, ihre Kernkompetenzen zu verstehen und zu erklären, warum es eine schlechte Idee sein könnte, sie die Aufgaben des jeweils anderen übernehmen zu lassen. [/et_pb_text][et_pb_text admin_label=”Überschrift” _builder_version=”4.8.1″ _module_preset=”default” min_height=”57px”]
Missverständnis über die beiden Rollen
[/et_pb_text][et_pb_text _builder_version=”4.8.1″ _module_preset=”default”]
Eines der häufigsten Probleme bei der Interpretation der Rollen ist das zuvor verwendete Venn-Diagramm. Obwohl es in Bezug auf die Überschneidung der Bereiche korrekt ist, bedeutet es nicht unbedingt, dass ein Data Scientist Pipelines wie ein Data Engineer aufbauen kann und ein Data Engineer in der Lage ist, statistisch gestützte Entscheidungen wie ein Data Scientist zu treffen. Es bedeutet nur, dass die andere Person es besser kann. Wo liegt also das Problem? Warum lässt man nicht den Älteren tun, was er mag, und den Jüngeren sich auf seine eigenen Fähigkeiten konzentrieren? Leider funktioniert das in einer Organisation nicht unbedingt so. Aufgrund der häufigen Überschneidungen und des Wissenstransfers und der Tatsache, dass sie die Aufgaben des anderen übernehmen können (aber nicht sollten), gibt es Fälle, in denen dies der Gesamteffizienz dauerhaft schadet.
[/et_pb_text][et_pb_text admin_label=”Überschrift” _builder_version=”4.8.1″ _module_preset=”default” min_height=”47px”]
Data Scientist
[/et_pb_text][et_pb_text _builder_version=”4.8.1″ _module_preset=”default”]Die Rolle des Data Scientist, die als der attraktivster Job des 21. Jahrhunderts bezeichnet wird, ist für eine Person gedacht, die über statistische, programmiertechnische und mathematische Kenntnisse verfügt. Ihre Aufgabe ist es, fortschrittliche Analysen und maschinelle Lernmodelle zu erstellen. Sie müssen ein gutes Geschäftsverständnis haben und die Fähigkeit besitzen, komplexe Beobachtungen den Geschäftsinhabern zu vermitteln. Kurz gesagt, jemand, der sein profundes statistisches Wissen mit Programmierkenntnissen erweitert hat. Sie sind jedoch keine guten Programmierer (vergleichbar mit Software- oder Dateningenieuren) und nutzen die Programmierung nur als Werkzeug, um die riesigen Datenmengen zu verstehen. [/et_pb_text][et_pb_text admin_label=”Überschrift” _builder_version=”4.8.1″ _module_preset=”default” min_height=”47px” custom_padding=”||0px|||”]
Data Engineer
[/et_pb_text][et_pb_text _builder_version=”4.8.1″ _module_preset=”default”]Das wertvollste Gut für einen Data Scientist sind saubere, leicht zugängliche Rohdaten oder kuratierte Daten. Das Data Engineering sorgt dafür, dass die vom Data Scientist verwendeten Daten korrekt und leicht zugänglich sind. Die Rolle erfordert die Entwicklung, Konstruktion, Prüfung und Wartung der Big-Data-Architektur. Sie haben Programmierkenntnisse und Fähigkeiten zur Systemerstellung und können Lösungen für Big-Data-Probleme anbieten. [/et_pb_text][et_pb_image src=”https://hubsters.de/wp-content/uploads/2021/09/DataScientists_vs_DataEngineers_de.png” title_text=”DataScientists_vs_DataEngineers_de” _builder_version=”4.8.1″ _module_preset=”default”][/et_pb_image][et_pb_text admin_label=”Überschrift” _builder_version=”4.8.1″ _module_preset=”default”]
Was könnte schiefgehen?
[/et_pb_text][et_pb_text _builder_version=”4.8.1″ _module_preset=”default”]Wie bereits erwähnt, können beide die Aufgaben des jeweils anderen übernehmen, da es immer zu gewissen Überschneidungen kommt, wenn das Projekt dies erfordert. Ein Data Engineer kann Analysen durchführen, aber das ist nicht seine Kernkompetenz. Er wird nicht so schnell und genau sein wie ein Data Scientist. Data Engineers sind kluge Köpfe und können sich statistisches Wissen aneignen und sich zur Erstellung von Modellen für maschinelles Lernen hocharbeiten, aber das ist ein schrittweiser Lernprozess. Bis dahin wäre ein Data Scientist, der ML-Modelle erstellt, eine schnellere und praktikablere Option. [/et_pb_text][et_pb_text _builder_version=”4.8.1″ _module_preset=”default”]Das Hauptproblem ist jedoch, dass sie das Programmieren und die Erstellung von Pipelines aus der Not heraus gelernt haben, um die Big-Data-Analyse zu ergänzen. Sie sind an begrenzte Methoden gewöhnt und wählen daher möglicherweise nicht das richtige Tool für ihren Anwendungsfall. Natürlich können sie diese Fähigkeiten nach und nach perfektionieren, aber bis es soweit ist, rechtfertigen das Risiko und der ROI möglicherweise nicht die investierte Zeit und die Ressourcen. [/et_pb_text][et_pb_text _builder_version=”4.8.1″ _module_preset=”default”]Nehmen wir an, Sie verwenden ein falsches Tool und die falschen Ressourcen, um viele Pipeline-Läufe zu erstellen. Nehmen wir an, Apache Spark wird für eine “nicht so große Datenmenge” verwendet, die leicht von Snowflake hätte verwaltet werden können. Das Ergebnis ist ein 15-minütiger Lauf anstelle von 1 Minute. Stellen Sie sich nun die Wartezeit multipliziert mit 10 anderen Pipelines vor. Nun, wenn meine Testpipeline länger als 10 Minuten läuft, gehe ich normalerweise einen Kaffee trinken. Wenn ich das jetzt für 10 weitere Pipelines falsch mache, wird das teuer… in Bezug auf die gekauften Kaffees und natürlich auch in Bezug auf die genutzten Rechenressourcen. [/et_pb_text][et_pb_text admin_label=”Überschrift” _builder_version=”4.8.1″ _module_preset=”default”]
Unsere Sicht
[/et_pb_text][et_pb_text _builder_version=”4.8.1″ _module_preset=”default”]Beide Rollen sind gleichermaßen wichtig, wobei ein Data Scientist dazu beiträgt, Geschäftsentscheidungen zu verbessern, und ein Data Engineer sicherstellt, dass diese Entscheidungen auf den neuesten und qualitativ hochwertigsten Daten basieren. Die beiden Rollen haben ihre eigenen Kompetenzen, und wenn Unternehmen ihre Unterschiede verstehen, können sie das Beste aus Datenprojekten herausholen. Wichtig ist, dass das Verhältnis von Data Engineer zu Data Scientist immer größer als eins sein muss und je nach Größe der Komplexität zu entscheiden ist. Ich persönlich würde mich freuen, wenn im Rahmen der “Lessons Learned” wenigstens ein Manager aufhören würde, seinen Data Engineer zu bitten, einen KI-Algorithmus zu entwickeln, oder den Data Scientist zu fragen, warum die Datenqualität schlecht ist![/et_pb_text][et_pb_text _builder_version=”4.8.1″ _module_preset=”default”]Damit ist auch schon Schluss und wie immer freue ich mich natürlich über euer Feedback, sei es per Direktnachricht auf LinkedIn, oder auch gerne im Rahmen eine Plausches über Teams.[/et_pb_text][et_pb_button button_url=”@ET-DC@eyJkeW5hbWljIjp0cnVlLCJjb250ZW50IjoicG9zdF9saW5rX3VybF9wYWdlIiwic2V0dGluZ3MiOnsicG9zdF9pZCI6IjIwOTQifX0=@” url_new_window=”on” button_text=”Newsletter Anmeldung” button_alignment=”center” _builder_version=”4.8.1″ _dynamic_attributes=”button_url” button_text_color=”#303344″ button_bg_color=”#efd430″ button_border_color=”rgba(0,0,0,0)” button_border_radius=”30px” button_letter_spacing=”2px” button_font=”Poppins|600|||||||” button_use_icon=”off” custom_padding=”16px|32px|16px|32px|true|true” animation_style=”slide” animation_direction=”right” animation_intensity_slide=”5%” button_text_size__hover_enabled=”off” button_text_color__hover_enabled=”off” button_bg_color__hover_enabled=”off” button_border_color__hover_enabled=”off” button_border_radius__hover_enabled=”off” button_letter_spacing__hover=”2px” button_letter_spacing__hover_enabled=”on” button_border_width__hover_enabled=”off”][/et_pb_button][/et_pb_column][/et_pb_row][et_pb_row _builder_version=”4.8.1″ _module_preset=”default” custom_margin=”|auto|-43px|auto||”][et_pb_column type=”4_4″ _builder_version=”4.8.1″ _module_preset=”default”][et_pb_divider color=”#303344″ _builder_version=”4.8.1″ _module_preset=”default”][/et_pb_divider][/et_pb_column][/et_pb_row][/et_pb_section][et_pb_section fb_built=”1″ _builder_version=”4.8.1″ _module_preset=”default” min_height=”199px” custom_padding=”0px|||||”][et_pb_row column_structure=”1_3,2_3″ _builder_version=”4.8.1″ _module_preset=”default” min_height=”218px” custom_padding=”||2px|||”][et_pb_column type=”1_3″ _builder_version=”4.8.1″ _module_preset=”default”][et_pb_image src=”https://hubsters.de/wp-content/uploads/2021/01/BIld2.jpg” alt=”Peter Schmäling” title_text=”BIld2″ _builder_version=”4.8.1″ _module_preset=”default”][/et_pb_image][/et_pb_column][et_pb_column type=”2_3″ _builder_version=”4.8.1″ _module_preset=”default”][et_pb_blurb title=”Tushar Poojary” _builder_version=”4.8.1″ _module_preset=”default”]Tushar Poojary ist Junior Solution Architect bei HUBSTER.S[/et_pb_blurb][et_pb_blurb _builder_version=”4.8.1″ _module_preset=”default”]
[/et_pb_blurb][/et_pb_column][/et_pb_row][/et_pb_section]
