Flera typer av programvara har utvecklats för att hjälpa användare att utnyttja de stora mängder data som samlas in och organiseras idag. Dessa faller i stort sett i flera kategorier:
* Datalager och Data Lakes: Dessa är system designade för att lagra och hantera stora volymer strukturerade och ostrukturerade data från olika källor. Programvara som är associerad med dessa inkluderar verktyg för intag, transformation och lastning (ETL), samt frågemotorer och datakatalogiseringssystem. Exempel inkluderar snöflinga, databricks och Amazon S3.
* Business Intelligence (BI) Verktyg: Dessa verktyg används för att analysera data och skapa visualiseringar för att stödja affärsbeslut. De ansluter ofta till datalager eller datasjöar och tillhandahåller funktioner som instrumentpaneler, rapportering och dataupptäckt. Exempel inkluderar Tableau, Power BI och Qlik Sense.
* Data Mining and Machine Learning (ML) Plattformar: Dessa plattformar tillhandahåller verktyg och algoritmer för att upptäcka mönster, göra förutsägelser och bygga modeller från data. De används ofta för uppgifter som prediktiv analys, kundsegmentering och upptäckt av bedrägerier. Exempel inkluderar tensorflow, pytorch och scikit-learn. Molnleverantörer erbjuder också hanterade ML -tjänster.
* Big Data -bearbetningsramar: Dessa ramar är utformade för att hantera massiva datasätt som är för stora för att behandlas av traditionella relationsdatabaser. De använder ofta distribuerade datortekniker för att bearbeta data parallellt. Exempel inkluderar Hadoop, Spark och Flink.
* Dataintegration och ETL -verktyg: Dessa verktyg underlättar rörelse och omvandling av data från olika källor till ett centraliserat arkiv. De hjälper till att rengöra, standardisera och förbereda data för analys. Informatica PowerCenter och Talend är exempel.
* Datavisualisering och utforskningsverktyg: Utöver BI fokuserar specialiserade verktyg enbart på den visuella utforskningen och förståelsen av data. Dessa kan inkludera verktyg specifikt för geografiska data (GIS), nätverksgrafer eller andra specialiserade datatyper.
* databashanteringssystem (DBMS): Även om de inte enbart för big data har moderna DBMS som PostgreSQL och MySQL utvecklats för att hantera större datasätt och erbjuda funktioner som förbättrar dataanalysfunktioner.
Den specifika programvaran som används beror på typen av data, storleken på datasättet, de analytiska uppgifterna som ska utföras och användarnas tekniska expertis. Ofta används en kombination av dessa mjukvarutyper i en omfattande datahanterings- och analyslösning.
