Vertiefungskurs "Effiziente Datenverarbeitung"

Der Kurs vermittelt die nötigen Kenntnisse um auch große Datenmengen in R effizient verarbeiten zu können. Sogennante Split-Combine-Ansätze sind generell geeignet, einen Datensatz in mehrere Datensätze aufzuspalten (split), Operationen auf den Teildatensätzen durchzuführen und die Ergebnisse wieder zusammenzuführen (combine). Abgesehen von trivialen Analysen wird diese Art der Datenverarbeitung so gut wie immer gebraucht. Beispiele sind etwa die Anwendung von statistischen Tests auf unterschiedliche Gruppen oder die Berechnung von Gruppenmittelwerten oder anderen Gruppenstatistiken. Häufig ist es mit einer Split-Combine Operationen nicht getan: Datenverarbeitung verlangt häufig die Anwendung mehrerer, hintereinander auszuführender Operationen (z.B. Datenbereinigung, Filterung, Transformation des Formats, Split-Combine, Visualisierung). Häufig wird der entsprechende Quelltext lang, unleserlich, fehleranfällig und die Übersicht leidet. Pipelines und chaining können oft helfen die Übersicht zu wahren und Speicher einzusparen. Kleine Datensätze stets im Arbeitsspeicher zu halten ist unproblematisch. Große Datenmengen (Stichwort: Big Data) hingegen können zu massiven Performanceeinbrüchen führen, da das Betriebssystem viel Zeit mit Ein- bzw. Auslagerung beschäftigt ist. In diesen Situationen können Datenbanken helfen, große Mengen (un-)strukturierter Daten z.B. auf einer Festplatte zu speichern. R nutzt dann nur jene Daten, die im aktuellen Verarbeitungsschritt notwending sind.