Data warehouse adalah database yang didesain khusus untuk mengerjakan proses query, membuat laporan dan analisa. Data yang di simpan adalah data business history dari sebuah organisasi /perusahaan, dimana data tersebut tidak tersimpan secara rinci/detil. Sehingga data dapat bertahan lebih lama berbeda dengan data OLTP (Online Transactional Processing) yang tersimpan sampai prosesnya berlangsung secara lengkap. Sumber data pada datawarehouse berasal dari berbagai macam format, software, platform dan jaringan yang beda. Data tersebut adalah hasil dari proses transaksi perusahan / organisasi sehari.hari. Karena berasal dari sumber yang berbeda beda tadi, maka data pada data warehouse harus tersimpan dalam sebuah format yang baku.
Data warehouse juga merupakan salah satu sistem pendukung keputusan, yaitu dengan menyimpan data dari berbagai sumber, mengorganisasikannya dan dianalisa oleh para pengambil kebijakan. Akan tetapi datawarehouse tidak dapat memberikan keputusan secara langsung. Namun ia dapat memberikan informasi yang dapat membuat user menjadi lebih paham dalam membuat kebijakan strategis. Ada 4 karakteristik dari data warehouse : subject oriented, integrated, time variant dan non volatile.
Berikut ini pengertian Data warehouse menurut 6 pandangan para ahli:- Menurut Ralph Kimball, data warehouse adalah suatu sistem yang mengekstrak, membersihkan, menyesuaikan diri, dan mengirim sumber data ke dalam suatu data penyimpanan dimensional dan kemudian mendukung implementasi query dan analisis untuk tujuan pengambilan keputusan.
- Vivek Gupta dari System Services Corp (1997) mendefinisikan bahwa Data Warehouse adalah: “Sistem terstruktur berskala besar untuk menganalisa data statis yang telah ditransformasikan dari berbagai aplikasi asalnya agar sesuai dengan struktur bisnis, terkumpul dalam waktu yang lama, direpresentasikan dalam terminologi bisnis dan terpadu untuk memudahkan analisa.
- Elmasri & Navathe ( 2004 ) berargumen bahwa : “Data Warehouse adalah kumpulan dari informasi yang sama baiknya seperti sistem pendukung keputusan. Data Warehouse mempunyai perbedaan karakteristik utama yang lebih ditekankan untuk aplikasi pendukung keputusan”. Dengan definisi ini Data Warehouse dipandang memiliki karateristik yang berbeda dari sistem pendukung operasional lainnya. Secara khususnya karena ditujukan sebagai aplikasi pendukung pengambilan keputusan.
- Bill Inmon ( 1996 ) yang dijuluki sebagai bapak Data Warehouse menekankan bahwa Data Warehouse adalah dasar dari proses pengambilan keputusan. Demikian pula Poe ( 1996 ) mendefinisikan :” Data Warehouse adalah basis data analisa yang hanya dapat dibaca dan digunakan sebagai bahan untuk sistem pendukung keputusan.”. Keduanya memandang Data Warehouse sebagai dasar dari sistem pengambilan keputusan.
- Menurut Eckerson, Wayne W, Data Warehouse adalah menempatkan data yang telah diurai dari database operasional, eksternal, dan database lainnya dari organisasi.
- Menurut Malik, Shadan. 2005, Data Warehouse adalah tempat penyimpanan data historical yang diorganisasikan berdasarkan subjek untuk pengambilan keputusan dalam organisasi. Data Warehouse memfasilitasi kegiatan BI, seperti Data Mining dan mendukung pangambilan keputusan.
- Menurut W.H. Inmon dan Richard D.H., data warehouse adalah koleksi data yang mempunyai sifat berorientasi subjek,terintegrasi,time-variant, dan bersifat tetap dari koleksi data dalam mendukung proses pengambilan keputusan management. Sedangkan Vidette Poe, data warehouse merupakan database yang bersifat analisis dan read only yang digunakan sebagai fondasi dari sistem penunjang keputusan. Data warehouse juga bisa diartikan sebagai database relasional yang didesain lebih kepada query dan analisa dari pada proses transaksi, biasanya mengandung history data dari proses transaksi dan bisa juga data dari sumber lainnya.
Tujuan utama dari pembuatan data warehouse adalah untuk menyatukan data yang beragam ke dalam sebuah tempat penyimpanan dimana pengguna dapat dengan mudah menjalankan query (pencarian data), menghasilkan laporan, dan melakukan analisis. Salah satu keuntungan yang diperoleh dari keberadaan data warehouse adalah dapat meningkatkan efektifitas pembuatan keputusan (Wajarsana, 2008).
Sejarah Data Warehouse
Sejak awal 1990-an, data gudang yang berada di garis depan aplikasi teknologi informasi sebagai cara bagi organisasi untuk secara efektif menggunakan informasi digital untuk perencanaan bisnis dan pengambilan keputusan. Oleh karena itu, pemahaman tentang sistem arsitektur data warehouse adalah atau akan menjadi penting dalam peran dan tanggung jawab dalam pengelolaan informasi.
- 1960 – General Mills dan Dartmouth College , dalam proyek penelitian bersama, mengembangkan dimensi syarat dan fakta.
- 1970 – ACNielsen dan IRI menyediakan data mart dimensi untuk penjualan eceran.
- 1983 – Teradata memperkenalkan sistem manajemen database yang khusus dirancang untuk mendukung keputusan.
- 1988 – Barry Devlin dan Paul Murphy mempublikasikan artikel arsitektur An untuk dan sistem informasi bisnis di IBM Systems Journal mana mereka memperkenalkan istilah “data bisnis” gudang.
- 1990 – memperkenalkan Sistem Bata Merah Red Brick Warehouse, sebuah sistem manajemen database khusus untuk data warehouse.
- 1991 – memperkenalkan Prism Prism Solusi Gudang Manager, perangkat lunak untuk mengembangkan gudang data.
- 1991 – Bill Inmon menerbitkan buku Membangun Data Warehouse.
- 1995 – Data Warehousing Institute, sebuah organisasi nirlaba yang mempromosikan data warehouse, didirikan.
- 1996 – Ralph Kimball menerbitkan buku The Data Warehouse Toolkit.
- 2000 – Daniel Linstedt melepaskan Vault Data, memungkinkan real time diaudit Data Warehouse.
Karakteristik Data Warehouse
Sistem basis data ini memiliki karakteristik yang membuatnya berbeda dari database lain. Ada empat karakteristik yang menjadi ciri khas database ini, yaitu:
- Berorientasi kepada subjek (subjek-oriented)
Artinya data warehouse berorientasi subjek dirancang untuk menganalisis data berdasarkan subjek-subjek tertentu dalam organisasi, bukan pada proses atau fungsi aplikasi tertentu. Data warehouse diorganisasikan disekitar subjek-subjek utama dari perusahaan seperti (pelanggan, produk dan penjualan) dan tidak terorganisir dalam area aplikasi utama (customer faktur, kontrol stok dan penjualan produk).
Hal ini karena kebutuhan data warehouse untuk menyimpan data yang mendukung keputusan, daripada aplikasi berorientasi data. Jadi dengan kata lain, data yang disimpan tidak berorientasi pada subjek proses.
- Data yang dimiliki terintegrasi (Data Integrated)
Syarat integrasi sumber data dapat dipenuhi dengan berbagai cara peti konsisten dalam penamaan variabel, konsisten dalam variabel ukuran, konsisten dalam coding dan struktur yang konsisten dalam atribut fisik dari data.
Contoh lingkungan operasional ada banyak aplikasi yang juga dapat dilakukan oleh pengembang yang berbeda. Oleh karena itu, mungkin dalam aplikasi ini terdapat variabel yang memiliki tujuan yang sama tetapi nama dan format yang berbeda.
Variabel ini harus dikonversi ke nama yang sama dan format yang telah disepakati. Dengan demikian tidak ada kebingungan karena perbedaan nama, format, dan sebagainya. Kemudian data dapat dikategorikan sebagai data yang terintegrasi karena kekonsistenannya.
- Dibuat dalam rentang waktu tertentu (Timeline)
- Cara termudah adalah untuk menyajikan data warehouse pada rentang waktu tertentu, misalnya, antara 5 sampai 10 tahun ke depan.
- Cara kedua, dengan menggunakan variasi perbedaan waktu / disajikan dalam data warehouse adalah baik secara implisit maupun eksplisit, eksplisit dengan unsur waktu dalam sehari, seminggu, sebulan dll Secara implisit misalnya, saat data diduplikasi pada setiap akhir bulan, atau kuartalan. Unsur waktu akan tetap tersirat dalam data.
- Cara ketiga, variasi waktu dari data warehouse yang disajikan melalui serangkaian foto-foto yang lama. Snapshot adalah pandangan sebagian besar data yang spesifik yang sesuai keinginan pengguna dari semua data yang ada adalah read-only.
- Data yang disimpan bersifat tetap (Non-Volatile)
Karakteristik keempat dari data warehouse adalah non-volatile, artinya data dalam gudang data tidak diperbarui secara real time tetapi dalam refresh sistem operasi secara teratur. Data baru yang ditambahkan sebagai suplemen untuk database itu sendiri bukan sebagai perubahan.
Database ini terus menyerap data baru, maka secara bertahap bersama-sama dengan data sebelumnya. Berbeda dengan database operasional yang dapat melakukan update, insert, dan menghapus data yang mengubah isi dari database data warehouse, sementara hanya ada dua peristiwa untuk memanipulasi data yang memuat data (mengambil data) dan akses data (akses ke gudang data seperti melakukan query atau menampilkan laporan yang diperlukan, tidak ada aktivitas memperbarui data).
Data warehouse merupakan pendekatan untuk menyimpan data dimana sumber data yang heterogen (yang biasanya tersebar di beberapa basis data OLTP) bermigrasi ke penyimpanan data dan terpisah homogen. Keuntungan yang diperoleh dengan menggunakan data warehouse berikut (Ramelho).
Sedangkan kombinasi data mining dan verifikasi penemuan adalah pengembangan dari data mining di masa depan akan menggabungkan hipotesis dan penemuan pendekatan.
Perkembangan ini menggunakan alasan yang sama yang mendasari konsep Sistem Pendukung Keputusan (Decision Support System – DSS). Konsep ini memungkinkan pengguna dan komputer bekerja sama untuk memecahkan masalah.
Pengguna menerapkan keahliannya dalam hal masalah, dan komputer melakukan analisis data yang canggih untuk memilih data yang tepat dan menempatkannya dalam format yang sesuai untuk pengambilan keputusan. Menurut Usama Fayyad (1996).
Aristektur dasar:
Arsitektur dengan staging area:
Arsitektur dengan data mart:
- Source Data
- Data Stagging
- Data Storage
- Metadata
- Information Delivery
- Management and Control
Sumber Data Untuk Datawarehouse
Menurut Carlo Vercellis 2009, sumber data untuk Data Warehouse terbagi dalam tiga kategori,yaitu data internal,data eksternal dan data personal.
1.Data Internal
Data yang bersumber dari internal perusahaan yaitu dari sistem transaksi operasional perusahaan(Transactional System/Operational System).Data ini biasanya berasal dari komponen sistem informasi sebagai berikut:
– Back Office system yang mengkoleksi catatan transaksi dasar,seperti data order,invoice,inventory,produksi,accounting dan logistik.
– Front Office system yang berisi data aktivitas call-center,customer assistance,atau informasi marketing.
– Web based system,yang berisi data transaksi penjualan secara on-line,catatan kunjungan ke web,data masukan dari para customer.
2.Data Eksternal
Data yang bersumber dari eksternal perusahaan yang digunakan untuk analisa bisnis perusahaan.Contoh data tersebut seperti data perkembangan ekonomi,informasi market share,market survey,informasi demografi,informasi geografi dan sebagainya.
3.Data Personal
Untuk kebutuhanan alisa bisnis,maka sumber data dapat dilengkapi dengan hasil assesment internal yang ditulis dalam format work sheet atau local database.
Menurut Berson dan Smith terdapat lima grup:
– Reporting and query tools
– Application development tools
– Executive information System (EIS) tools
– Online Analytical Processing (OLAP) tools
– Data mining tools.
Data warehouse diteraplan pada beberapa perusahaan/bidang berikut ini:
Contoh Data Warehouse
Sebuah toko swalayan merekam setiap penjualan barang dengan memakai alat POS (Point of Sales). Database data penjualan tersebut bisa mencapai beberapa GB setiap harinya untuk sebuah jaringan di toko swalayan berskala nasional.
Tetapi pertumbuhan yang pesat dari akumulasi data itu telah menciptakan kondisi yang sering disebut sebagai “rich of data but poor of information”. Tidak jarang kumpulan data itu dibiarkan begitu saja seakan akan “kuburan data” (data tombs).
Aplikasi yang menggunakan Data Warehouse. Meskipun hanya bisa trial 30 hari tapi aplikasi ini dapat digunakan untuk tugas kampus atau belajar data warehouse. Pentaho adalah kumpulan aplikasi Business Intelligence yang bersifat free open source software(FOSS) dan berjalan di atas platform Java. Aplikasi-aplikasi Pentaho dikembangkan oleh Pentaho corp yang berpusat di Orlanda, Amerika Serikat.
1.Data Internal
Data yang bersumber dari internal perusahaan yaitu dari sistem transaksi operasional perusahaan(Transactional System/Operational System).Data ini biasanya berasal dari komponen sistem informasi sebagai berikut:
– Back Office system yang mengkoleksi catatan transaksi dasar,seperti data order,invoice,inventory,produksi,accounting dan logistik.
– Front Office system yang berisi data aktivitas call-center,customer assistance,atau informasi marketing.
– Web based system,yang berisi data transaksi penjualan secara on-line,catatan kunjungan ke web,data masukan dari para customer.
2.Data Eksternal
Data yang bersumber dari eksternal perusahaan yang digunakan untuk analisa bisnis perusahaan.Contoh data tersebut seperti data perkembangan ekonomi,informasi market share,market survey,informasi demografi,informasi geografi dan sebagainya.
3.Data Personal
Untuk kebutuhanan alisa bisnis,maka sumber data dapat dilengkapi dengan hasil assesment internal yang ditulis dalam format work sheet atau local database.
Menurut Berson dan Smith terdapat lima grup:
– Reporting and query tools
– Application development tools
– Executive information System (EIS) tools
– Online Analytical Processing (OLAP) tools
– Data mining tools.
Kelebihan Data Warehouse
Data Warehouse memiliki kelebihan-kelebihan sebagai berikut:
1. Data terorganisir dengan baik untuk query analisis dan sebagai bahan yang baik untuk proses transaksi.
2. Perbedaan struktur data yang banyak macamnya dari sumber yang berbeda dapat di atasi.
3. Memiliki aturan transformasi untuk memvalidasi dan menkonsolidasi data dari OLTP ke data warehouse.
4. Masalah keamanan dan kinerja dapat dipecahkan tanpa perlu mengubah sistem produksi.
5. Memiliki model data yang banyak macamnya, dan tidak tergantung dari format data awal/sumbernya, sehingga memudahkan dalam menciptakan laporan.
6. proses transformasi/ perpindahan dapat di monitoring. jika terjadi kesalahan dapat di arahkan / di luruskan.
7. informasi yang disimpan dalam datawarehouse, jadi ketika OLTP data sumber nya hilang. informasi yang diolah tetap terjaga dalam suatu datawarehouse.
8. Data Warehouse tidak memperlambat kerja operasional transaksi.
9. Dapat menyediakan laporan yang bermacam-macam.
Kekurangan Data Warehouse
Adapun kekurangan-kekurangan dari data warehouse yaitu:
1. Datawarehouse bukan merupakan lingkungan yang cocok untuk data yang tidak terstruktur.
2. Data perlu di ekstrak, diubah (ETL) dan di load ke datawarehouse sehingga membutuhkan tenggang waktu untuk memindahkannya.
3. Semakin lama dipelihara, semakin besar biaya untuk merawat sebuah datawarehouse.
4. Datawarehouse dapat menjadi ketinggalan dari data terbaru yang relatif cepat, karena data yang digunakan di datawarehouse tidak di update secara cepat. sehingga data yang ada tidak optimal.
Data warehouse diteraplan pada beberapa perusahaan/bidang berikut ini:
- Perusahaan Telekomunikasi: untuk mengamati jumlah transaksi yang terjadi
- Perusahaan Keuangan: mendeteksi transaksi keuangan
- Perusahaan Asuransi: mengidentifikasi layanan kesehatan, mana yang perlu diberikan asuransi dan mana yang tidak perlu.
- Bidang Olahraga: menganalisa statistik permainan
Contoh Data Warehouse
Sebuah toko swalayan merekam setiap penjualan barang dengan memakai alat POS (Point of Sales). Database data penjualan tersebut bisa mencapai beberapa GB setiap harinya untuk sebuah jaringan di toko swalayan berskala nasional.
Tetapi pertumbuhan yang pesat dari akumulasi data itu telah menciptakan kondisi yang sering disebut sebagai “rich of data but poor of information”. Tidak jarang kumpulan data itu dibiarkan begitu saja seakan akan “kuburan data” (data tombs).
Aplikasi untuk Data warehouse
Daftar Referensi
- https://www.robicomp.com/pengertian-data-warehouse-serta-penjelasannya.html
- https://medium.com/@mnahrowi/apa-pengertian-data-warehouse-kelebihan-dan-kekurangannya-5a5a28efd7ad
- https://www.dosenpendidikan.co.id/data-warehouse-adalah/
- https://opistation.wordpress.com/2013/10/15/pengertian-data-warehouse/
- https://timur.ilearning.me/2016/01/04/apa-definisi-dari-data-warehouse/
- https://mti.binus.ac.id/2018/06/08/data-warehouse-vs-big-data/
- https://ivansteritory.blogspot.com/2013/09/normal-0-false-false-false-in-x-none-x_17.html
- https://holishasir72.wordpress.com/2014/11/17/data-warehouse-olap-oltp-data-mining/
- http://flameofrhecca.blogspot.com/2014/03/contoh-aplikasi-data-warehouse-pentaho.html
- http://zero-fisip.web.unair.ac.id/artikel_detail-69818-Sistem%20Data%20(Database)-Pengertian%20Data%20Warehouse.html#:~:text=Menurut%20W.H.%20Inmon%20dan%20Richard,database%20yang%20bersifat%20analisis%20dan
- https://karlindasebastian.wordpress.com/2015/06/23/data-warehouse-arsitektur-data-warehouse/
- https://kresnapw.wordpress.com/2013/12/28/sumber-data-untuk-data-warehouse-data-mining-data-warehouse/
