Large scale astronomical data archiving for the ESA Gaia Mission

Abstract

Astronomical data handling and archiving has long been a leading discipline for the development of software engineering techniques and paradigms. The increasing availability of very large datasets and its processing and archival needs are transforming research in astronomy, imposing increasing requirements in the data dissemination software systems provided by publishing entities. This thesis focuses on the development of archival software that not only scales up to the level of very large datasets, but also provides the data mining capabilities required by the Astronomical Community.

El procesado y archivado de datos astronómicos es una disciplina que ha liderado el desarrollo de nuevos paradigmas y técnicas de ingeniería de software. La producción de conjuntos de datos mayores y su necesidad de procesado y archivado suponen una transformación de campos de investigación en astronomía, imponiendo nuevos requisitos en los sistemas desarrollados por las entidades de publicación. Esta tesis se enfoca al desarrollo de software de archivado que no sólo escale hasta el nivel de conjuntos de datos muy grandes, sino que además provee aquellas capacidades de minería de datos requeridas por la Comunidad Astronómica.

O procesado e arquivado de datos astronómicos é unha disciplina que liderou o desenvolvemento de novos paradigmas e técnicas de enxeñaría de software. A produción de conxuntos de datos maiores e a súa necesidade de procesado e arquivado supoñen unha transformación de campos de investigación en astronomía, impoñendo novos requisitos nos sistemas desenvolvidos polas entidades publicadoras. Esta tese enfócase ao desenvolvemento de software de arquivado que non só escale ata o nivel de conxuntos de datos moi grandes, senón que ademais provén aquelas capacidades de minaría de datos requiridas pola Comunidade Astronómica.