MapReduce и ETL
Как отмечается в , для канонического способа использования технологии MapReduce характерно применение следующих операций:
-
чтение журнальных данных из нескольких разных файлов-журналов;
-
разбор и очистка журнальных данных;
-
преобразования этих данных, в том числе их частичная агрегация;
-
принятие решения о схеме результирующих данных;
-
загрузка данных в хранилище данных или другую систему хранения.
В точности такие же шаги выполняются в системах ETL при извлечении, преобразовании и загрузке данных. По сути дела, MapReduce производит из исходных "сырых" данных некоторую полезную информацию, которую потребляет другая система хранения. В некотором смысле можно считать любую реализацию MapReduce параллельной инфрастуктурой выполнения процедур ETL.
Имелись попытки реализации процедур ETL внутри сервера баз данных средствами языка SQL. Разработчики параллельных СУБД с поддержкой MapReduce Greenplum Database и nCluster компании Aster Data тоже намекают, что их встроенный MapReduce можно использовать и для поддержки ETL. Но исторически системы ETL промышленного уровня существуют отдельно от СУБД. Обычно СУБД не пытаются выполнять ETL, а системы ETL не поддерживают функции СУБД.
