Abschlussarbeit im Bereich Data Science
Jan Weisenstein | 23. November 2017 | Technologie - Data Science

Viele Studenten sind auf der Suche nach praxisorientierten Abschlussarbeiten um das erlernte theoretische Wissen direkt in die Tat umzusetzen. Wir, die German Management Consulting, bieten den Studenten diese Möglichkeit gerne an und ich möchte Euch von meiner Abschlussarbeit berichten. Meine Masterarbeit war im Bereich Data Science angesiedelt und beinhaltete die Entwicklung eines Prototyps für die Kandidatensuche im Internet in Kooperation mit der Universität Mannheim. Hierfür wurden öffentlich zugängliche Daten von mehreren Webseiten verwendet, gespeichert und ausgewertet. Das Ziel der Abschlussarbeit war interessante Kandidaten aus dem Internet zu identifizieren. Dazu mussten Informationen von mehreren Webseiten in einem Kandidatenprofil zusammengefasst und die zugehörige Expertise des Kandidaten analysiert werden.

Wie wurde die Arbeit umgesetzt?

Zur Umsetzung musste eine skalierbare Architektur eingesetzt werden. Aus diesem Grund wurde die Hortonworks Data Platform (HDP) in Verbindung mit Apache NiFi verwendet. Die HDP wurde zur Speicherung und Analyse der Daten verwendet und Apache NiFi wurde als ETL Tool eingesetzt. Der Datenfluss ist in der unteren Abbildung dargestellt und wird nun kurz beschrieben:

Die Extrahierung der Daten erfolgt über einen Web Crawler oder einer API Anbindung, je nachdem welche Schnittstelle die Datenquelle zur Verfügung stellte. Die Transformation der Daten wurde mit Hilfe Apache NiFi gelöst. Apache NiFi wurde ursprünglich von der NSA verwendet und ist nun ein Open Source Programm zu prozessieren von Daten. In der HDP wurden die ankommenden Daten in dem Hadoop Distributed File System (HDFS) gespeichert und die Analyse der Daten erfolgte mit Hilfe von Apache Spark und einer Python Anwendung unter der Verwendung der Anaconda Distribution. Bei der Analyse der Daten wurden sowohl Text Mining als auch Data Mining Algorithmen verwendet.

Data Science Projekt

Welche Unterstützung bietet Dir die German Management Consulting?

Die German Management Consulting bietet Dir die Unterstützung Deiner Abschlussarbeit in den Bereichen SAP, Data Science, Anwendungsentwicklung, IT-Sicherheit und Datenschutz, sowie IT-Management und IT-Strategie an. Wir statten Dich mit dem notwendigen Equipment aus und bieten Dir einen erfahrenen Experten in den jeweiligen Bereichen als Betreuer während Deiner Abschlussarbeit an. Die Gestaltung der Unterstützung erfolgt in Absprache mit Deinem Betreuer. In meiner Masterarbeit wurde der Fortschritt in wöchentlichen Meetings besprochen und weitere Schritte für die kommenden Aufgaben geplant. Zudem wurde mir eine Infrastruktur mit den notwendigen Zugriffsrechten zur Verfügung gestellt. Unser Experte stand sowohl bei technischen Fragen während der Implementierung, als auch bei der Planung und Korrektur der Abschlussarbeit tatkräftig zur Seite.

Welche Themen bieten wir noch an?

Innerhalb unserer 3 Säulen Professional Services, Technologie und Information Security haben wir verschiedene Experten, die Dich für Deine Abschlussarbeit unterstützen können. Wir helfen Dir bei der Themenwahl und der Präzisierung des Themas. Hierbei können wir Dir Themengebiete aus unserem Arbeitsfeld anbieten oder wir besprechen einen Themenvorschlag von Deiner Seite. Die Präzisierung des genauen Themas erfolgt dann in Absprache mit Dir, Deiner Universität/Hochschule und Deinem Betreuer von unserem Unternehmen.

German Management Consulting Säulen

Mit unseren 3 Säulen bieten wir vielfältige Expertise in verschiedenen Bereichen. Durch die Erfahrung unserer IT-Berater und der Flexibilität bieten wir Dir ein Umfeld um Deine herausfordernde Abschlussarbeit mit Hilfe von aktuellen Technologien erfolgreich umzusetzen. Im Anschluss besteht auch die Möglichkeit als IT-Berater bei der German Management Consulting einzusteigen. Nach meiner Abschlussarbeit durfte ich direkt bei der German Management Consulting meine Karriere beginnen! Schau Dir einfach unsere aktuellen Stellenausschreibungen an, ob dort vielleicht schon ein interessantes Thema für Dich dabei ist oder schreib uns einfach unverbindlich an info@german-mgmt.de. Wir freuen uns auf Deine Nachricht!

Kommentare

Die Angabe Ihrer E-Mail Adresse, sowie des Namens, sind optional. Wir nutzen Ihre E-Mail Adresse, um mit Ihnen in Kontakt zu treten, falls durch Ihren Kommentar Rechte Dritter verletzt werden. Ihre E-Mail Adresse wird von uns weder veröffentlicht oder weitergegeben. Weitere Informationen finden Sie auf der Datenschutz-Seite.

Suche
Über den Autor

Jan Weisenstein

Jan Weisenstein begann im März 2017 als Masterrand bei der German Management Consulting und stieg anschließend nach seiner Abschlussarbeit als Data Scientist ein. Durch seine Spezialisierung im Data- und Web Science Bereich ist er mit Data-, Process-, Text- und Web Mining Methoden vertraut. Damit bietet er umfassendes Wissen in der Konzeption und Implementierung von Big Data Anwendungen.