Vad är ETL?
ETL är en förkortning av Extract, Transform and Load. I den här processen extraherar ett ETL-verktyg data från olika RDBMS-källsystem, transformerar sedan data som att använda beräkningar, sammankopplingar etc. och sedan ladda in data i Data Warehouse-systemet.
I ETL flödar data från källan till målet. I ETL-process omvandlar motorn alla dataändringar.
Vad är ELT?
ELT är en annan metod för att titta på verktyget för dataförflyttning. Istället för att transformera data innan den skrivs låter ELT målsystemet göra transformationen. Uppgifterna kopierades först till målet och transformerades sedan på plats.
ELT används vanligtvis med inga SQL-databaser som Hadoop-kluster, dataapparat eller molninstallation.
NYCKELSKILL
- ETL står för Extract, Transform and Load medan ELT står för Extract, Load, Transform.
- ETL laddar data först in i staging-servern och sedan in i målsystemet medan ELT laddar data direkt i målsystemet.
- ETL-modellen används för lokal, relations- och strukturerad data medan ELT används för skalbara molnstrukturerade och ostrukturerade datakällor.
- ETL används främst för en liten mängd data medan ELT används för stora mängder data.
- ETL tillhandahåller inte datasjöstöd medan ELT tillhandahåller stöd för datasjö.
- ETL är lätt att implementera medan ELT kräver nischfärdigheter för att implementera och underhålla.
Skillnad mellan ETL och ELT
ETL- och ELT-processen skiljer sig åt i följande parametrar:
| Parametrar | ETL | ELT |
|---|---|---|
| Bearbeta | Data transformeras på iscensättningsservern och överförs sedan till Datawarehouse DB. | Data finns kvar i databaserna i Datawarehouse. |
| Kodanvändning | Används för
| Används för stora mängder data |
| Omvandling | Transformationer görs i ETL-server / staging-område. | Transformationer utförs i målsystemet |
| Time-Load | Data laddades först in i iscensättning och senare in i målsystemet. Tidsintensiv. | Data laddas in i målsystemet bara en gång. Snabbare. |
| Tidsomvandling | ETL-processen måste vänta på att transformationen ska slutföras. När datastorleken växer ökar transformationstiden. | I ELT-processen är hastigheten aldrig beroende av datastorleken. |
| Tid - Underhåll | Det behöver höga underhåll eftersom du måste välja data för att ladda och omvandla. | Lågt underhåll eftersom data alltid är tillgängliga. |
| Implementeringskomplexitet | I ett tidigt skede, lättare att genomföra. | För att implementera ELT-processen bör organisationen ha djup kunskap om verktyg och expertkunskaper. |
| Stöd för datalager | ETL-modell som används för lokal, relations- och strukturerad data. | Används i skalbar molninfrastruktur som stöder strukturerade, ostrukturerade datakällor. |
| Support för Data Lake | Stöder inte. | Tillåter användning av Data Lake med ostrukturerad data. |
| Komplexitet | ETL-processen laddar endast viktiga data, som identifierades vid designtiden. | Denna process involverar utveckling från bakåtutmatning och laddning av endast relevanta data. |
| Kosta | Höga kostnader för små och medelstora företag. | Låga inträdeskostnader med programvara online som serviceplattformar. |
| Sökningar | I ETL-processen måste både fakta och dimensioner vara tillgängliga i iscensättningsområdet. | All data kommer att finnas tillgänglig eftersom extrahering och laddning sker i en enda åtgärd. |
| Aggregationer | Komplexitet ökar med den extra mängden data i datasetet. | Målplattformens kraft kan snabbt bearbeta betydande mängder data. |
| Beräkningar | Skrivar över befintlig kolumn eller behöver lägga till dataset och trycka på målplattformen. | Lägg enkelt till den beräknade kolumnen i den befintliga tabellen. |
| Mognad | Processen används i över två decennier. Det är väldokumenterat och bästa praxis lätt tillgänglig. | Relativt nytt koncept och komplicerat att implementera. |
| Hårdvara | De flesta verktyg har unika hårdvarukrav som är dyra. | Att vara Saas hårdvarukostnad är inte ett problem. |
| Stöd för ostrukturerad data | Stöder främst relationsdata | Stöd för ostrukturerad data som är lättillgänglig. |