• Home
  • Search
  • Programming abstractions, compilation, and execution techniques for massively parallel data analysis
  • Cite Icon1
  • https://doi.org/10.14279/depositonce-4395Copy DOI Icon

Programming abstractions, compilation, and execution techniques for massively parallel data analysis

Show More
  • Abstract
  • Literature Map
  • References
  • Citations
  • Similar Papers
Abstract

Aufgrund fallender Preise zur Speicherung von Daten kann man derzeit eine explosionsartige Zunahme in der Menge der verfügbaren Daten beobachten. Diese Entwicklung gibt Unternehmen und wissenschaftliche Institutionen die Möglichkeit empirische Daten in ungekannter Größenordnung zu analysieren. Für viele Firmen ist die Analyse der gesammelten Daten aus ihrem operationalen Geschäft längst zu einem zentralen strategischen Aspekt geworden. Im Gegensatz zu der seit längerem schon betriebenen Business Intelligence, bestehen diese Analysen nicht mehr nur aus traditionellen relationalen Anfragen. In zunehmendem Anteil kommen komplexe Algorithmen aus den Bereichen Data Mining und Maschinelles Lernen hinzu, um versteckte Muster in den Daten zu erkennen, oder Vorhersagemodelle zu trainieren. Mit zunehmender Datenmenge und Komplexität der Analysen wird jedoch eine neue Generation von Systemen benötigt, die diese Kombination aus Anfragekomplexität und Datenvolumen gewachsen sind. Relationale Datenbanken waren lange Zeit das Zugpferd der Datenanalyse im großen Stil. Grund dafür war zum großen Teil ihre deklarativen Anfragesprache, welche es ermöglichte die logischen und physischen Aspekte der Datenspeicherung und Verarbeitung zu trennen, und Anfragen automatisch zu optimieren. Das starres Datenmodell und ihre beschränkte Menge von möglichen Operationen schränken jedoch die Anwendbarkeit von relationalen Datenbanken für viele der neueren analytischen Probleme stark ein. Diese Erkenntnis hat die Entwicklung einer neuen Generation von Systemen und Architekturen eingeläutet, die sich durch sehr generische Abstraktionen für parallelisierbare analytische Programme auszeichnen; MapReduce kann hier beispielhaft genannt werden, als der zweifelsohne prominenteste Vertreter dieser Systeme. Zwar vereinfachte und erschloss diese neue Generation von Systemen die Datenanalyse in diversen neuen Anwendungsfeldern, sie ist jedoch nicht in der Lage komplexe Anwendungen aus den Bereichen Data Mining und Maschinelles Lernen effizient abzubilden, ohne sich dabei extrem auf spezifische Anwendungen zu spezialisieren. Verglichen mit den relationalen Datenbanken haben MapReduce und vergleichbare Systeme außerdem die deklarative Abstraktion aufgegeben und zwingen den Anwender dazu systemnahe Programme zu schreiben und diese manuell zu optimieren. In dieser Dissertation werden verschiedene Techniken vorgestellt, die es ermöglichen etliche der zentralen Eigenschaften von relationalen Datenbanken im Kontext dieser neuen Generation von daten-parallelen Analysesystemen zu realisieren. Mithilfe dieser Techniken ist es möglich ein Analysesystem zu beschreiben, dessen Programme gleichzeitig sowohl generische und ausdrucksstark, als auch prägnant und deklarativ sind. Im einzelnen stellen wir folgende Techniken vor: Erstens, eine Programmierabstraktion die generisch ist und mit komplexen Datenmodellen umgehen kann, aber gleichzeitig viele der deklarativen Eigenschaften der relationalen Algebra erhält. Programme, die gegen dies Abstraktion entwickelt werden können ähnlich optimiert werden wie relationale Anfragen. Zweitens stellen wir eine Abstraktion für iterative daten-parallele Algorithmen vor. Die Abstraktion unterstützt inkrementelle (delta-basierte) Berechnungen und geht mit zustandsbehafteteten Berechnungen transparent um. Wir beschreiben wie man einen relationalen Anfrageoptimierer erweitern kann so dass dieser iterative Anfragen effektiv optimiert. Wir zeigen dabei dass der Optimierer dadurch in die Lage versetzt wird automatisch Ausführungspläne zu erzeugen, die wohlbekannten, manuell erstellten Programmen entsprechen. Die Abstraktion subsumiert dadurch spezialisierte Systeme (wie Pregel) und bietet vergleichbare Performanz. Drittens stellen wir Methoden vor, um die Programmierabstraktion in eine funktionale Sprachen einzubetten. Diese Integration ermögliche es prägnante Programme zu schreiben und einfach wiederzuverwendenden Komponenten und Bibliotheken, sowie Domänenspezifische Sprachen, zu erstellen. Wir legen dar wie man die Übersetzung und Optimierung des daten-parallelen Programms mit dem Sprachübersetzer der funktionalen Sprache so integriert, dass maximales Optimierungspotenzial besteht.

Similar Papers
  • Research Article
  • Citations1

An Invigorating Perspective of a Practical Aspect of NoSQL Database

  • Sep 19, 2022
  • International Journal of Research Publication and Reviews
  • Shaida Begum
  • Conference Article
  • Citations110

Intermedia: A case study of the differences between relational and object-oriented database systems

  • Dec 01, 1987
  • Karen E Smith +1
  • Research Article

Hortizontal Aggregation in SQL for Data Mining Analysis to Prepare Data Sets

  • Jun 21, 2014
  • Journal Ijmer +2
  • Supplementary Content

Raising the abstraction level of hardware software co-designs

  • Jan 01, 2015
  • heiDOK (Heidelberg University)
  • Richard Donald Sylvère Leys
  • Book Chapter
  • Citations19

Mixed-Level Embedding and JIT Compilation for an Iteratively Staged DSL

  • Jan 01, 2011
  • George Giorgidze +1
  • Supplementary Content

Co-Contextual Type Systems: Contextless Deductive Reasoning for Correct Incremental Type Checking

  • Mar 02, 2020
  • TUbilio (Technical University of Darmstadt)
  • Edlira Kuci
  • Research Article
  • Citations5

SQL-based semantics for path expressions over hierarchical data in relational databases

  • Feb 18, 2014
  • Journal of Information Science
  • Johanna Vainio +1
  • PDF
  • Research Article
  • Citations8

A Natural Language Interface to Relational Databases Using an Online Analytic Processing Hypercube

  • Dec 18, 2021
  • AI
  • Fadi H Hazboun +2
  • Book Chapter

Understanding Relational Database Management Systems

  • Jan 01, 2003
  • Richard Sperko
  • Research Article
  • Citations14

An improved division operator for relational algebra

  • Jan 01, 1989
  • Information Systems
  • Mohammad Dadashzadeh
  • Conference Article
  • Citations10

Prediction of the Success of Startup Companies Based on Support Vector Machine and Random Forset

  • Nov 06, 2020
  • Jinze Li
  • Book Chapter
  • Citations46

11 - Relational Languages

  • Jan 01, 2001
  • Information Modeling and Relational Databases
  • Terry Halpin
  • Research Article
  • Citations5

Predicting Unfavorable Pregnancy Outcomes in Polycystic Ovary Syndrome (PCOS) Patients Using Machine Learning Algorithms.

  • Aug 11, 2024
  • Medicina (Kaunas, Lithuania)
  • Raluca Mogos +10
  • Research Article
  • Citations50

Understanding the Performance of Machine Learning Models to Predict Credit Default: A Novel Approach for Supervisory Evaluation

  • Jan 27, 2021
  • SSRN Electronic Journal
  • Andrés Alonso +1
  • Abstract
  • Citations1

1106 Predicting adverse pregnancy outcomes in women with systemic lupus erythematosus: a comparison of machine learning methods

  • Nov 01, 2021
  • Lupus Science & Medicine
  • Melissa Fazzari +3
Cactus Communications logo

Copyright 2026 Cactus Communications. All rights reserved.