Logical dan Physical Design

Resume Pertemuan 7

Data Warehouse (O1) : Siti Mukaromah, S.Kom.

I Putu Narario Sastra (11.41010.0020)

Logical Design merupakan perancangan yang dapat dilakukan tanpa harus tergantung dengan platform atau teknologi yang akan digunakan untuk mengimplementasikan sistem. Jenis perancangan ini dapat dilakukan sebelum menentukan teknologi yang akan digunakan dalam sistem. Setelah teknologi sistem diterapkan, maka perancangan akan beralih ke physical design.

Physical Design merupakan perancangan yang lebih detil daripada logical design, dan hasilnya lebih spesifik kepada platform tertentu, karena perancangan ini tergantung pada jenis teknologi yang digunakan untuk mengimplementasikan sistem.

Logical Design sering digunakan pada tahap analisis, sedangkan pada tahap perancangan sistem biasanya sudah mengacu pada Physical Design.

Sumber : http://ambarsyafaatun.blogspot.com/2011/06/perancangan-sistem.html

Star Schema dan Snowflake Schema

Resume Pertemuan 6
Data Warehouse (O1) : Siti Mukaromah, S.Kom.

I Putu Narario Sastra (11.41010.0020)

Disebut Star Schema karena Entity Relationship Diagram (ERD) dari star schema menyerupai bintang, tabel fakta berada di tengah dengan dikelilingi tabel dimensi disekitarnya.

Contoh Gambar Star Schema :



Sedangkan Snowflake Schema lebih kompleks jika dibandingkan dengan star schema karena snowflake schema merupakan hasil pengembangan dari star schema, karena tabel dimensinya merupakan hasil dari normalisasi beberapa tabel yang berhubungan.

Contoh Gambar Snowflake Schema :




Sumber : http://levinbosz.wordpress.com/2014/01/02/star-schema-dan-snowflake-schema-baru/

Arsitektur dan Infrastruktur Data Warehouse

Resume Pertemuan 5

Data Warehouse (O1) : Siti Mukaromah, S.Kom.

I Putu Narario Sastra (11.41010.0020)

Arsitektur dalam artian luas adalah merancang dan membangun keseluruhan lingkungan binaan, mulai dari level makro perencanaan, perancangan, arsitektur lanskap, hingga ke level mikro yaitu desain. Arsitektur juga merujuk pada hasil-hasil proses perancangan tersebut.

Sumber : http://id.wikipedia.org/

Arsitektur Data Warehouse mencakup proses ETL (Extraction, Transformation, Loading) untuk memindahkan data dari operational data source dan sumber data lainnya ke dalam data warehouse.

ETL (Extraction, Transformation, Loading) 

Proses ETL merupakan proses yang harus dilalui dalam pembentukan data warehouse (Kimball, 2004). Berikut ini adalah penjelasannya :

Ekstraksi Data (Extract) adalah proses dimana data diambil dari berbagai sistem operasional, baik menggunakan query, atau aplikasi ETL.

1. Ekstrasi data otomatis dari aplikasi sumber.

2. Peyaringan atau seleksi data hasil ekstrasi.

3. Pengiriman data dari berbagai platform aplikasi ke sumber data.

4. Perubahan format layout data dari format aslinya.

5. Penyimpanan dari file sementara untuk penggabungan dengan hasil ekstrasi dari sumber lain.

Transformasi Data (Transformation) adalah proses dimana data mentah (raw data) hasil ekstrasi disaring dan dirubah sesuai dengan kaidah bisnis yang berlaku. Berikut adalah langkah-langkah dari transformasi data :

1. Memetakan data input dari skema data aslinya ke skema data warehouse.

2. Melakukan konversi tipe data.

3. Pembersihan serta pembuangan duplikasi dan kesalahan data.

4. Penghitungan nilai-nilai derivat.

5. Penghitungan nilai-nilai agregat.

6. Pemeriksaan integritas referensi data.

7. Pengisian nilai-nilai kosong dengan nilai default.

8. Penggabungan data.

Pengisian Data (Loading) proses terakhir yang perlu dilakukan adalah proses pemuatan datayang didapatkan dari hasil transformasi ke dalam data warehouse. Cara untuk memuat data adalah dengan menjalankan SQL Script secara periodik.

Sumber : http://informatika.web.id/category/data-warehouse/

Pendekatan Dalam Membangun Data Warehouse

Top-Down Approach

- Arsitektur ini biasa disebut dengan hub-and-spoke architecture (The Corporate Information           Factory).

- Awalnya dibangun sebuah enterprise data warehouse.

- Data level atomic disimpan dalam waktu 3 tahun normal form dalam enterprise data warehouse.

- Data akan di extract dari source system dan di load ke dalam data warehouse pada level                 glanularity terendah (data level atomic).

- Data akan di load ke dalam data warehouse lewat persistent staging area.

- Data dalam data warehouse dibuatkan summary nya, dibuatkan dimensional dengan cara diteruskan ke beberapa dependent data mart. Data mart ini hanya menyimpan data summary yang disimpan dalam star-schema atau snowflake-schema.

- User dapat melakukan query balik ke data warehouse maupun data mart.

Bottom-Up Approach

- Arsitektur ini disebut dengan the data warehouse bus structure.

- Awalnya dibangun dengan sebuah dimensional data mart, belakangan ini bisa dikembangkan           menjadi beberapa data mart sesuai dengan kebutuhan dan modal dari pengguna.

- Data mart mendukung baik data atomic atau data summary.

- Penggunaan conform dimension adalah mandatory, dengan menggunakan bus architecture maka       semua data mart  bisa terintegrasi secara logika sehingga dapat memberikan pandangan enterprise akan data.

Sumber :  http://yoyonb.wordpress.com/2009/12/24/bagaimana-arsitektur-data-warehouse/

Karakteristik Arsitektur Data Warehouse

- Data diambil dari sistem asal (sistem informasi yang ada), database dan file.

- Data dari sistem asal diintegrasikan dan ditransformasi sebelum disimpan ke dalam                          database management system (DBMS) seperti Oracle, SQL Server, Sybase, dan lain sebagainya.

- Data warehouse merupakan sebuah database terpisah yang bersifat hanya dibuat khusus untuk       pendukung keputusan.

- Pemakai mengakses data warehouse melalui aplikasi front end tool.

Infrastruktur Data Warehouse

- Oracle, SQL Server, dan Sybase.

- Front End Tool (aplikasi untuk mengakses data warehouse). User merupakan pengguna akhir dari sistem.

Sumber : http://padamasa.wordpress.com/category/materi/stikom/data-warehouse/

Kebutuhan Data Warehouse

Resume Pertemuan 4

Data Warehouse (O1) : Siti Mukaromah, S.Kom.

I Putu Narario Sastra (11.41010.0020)

Dimensi adalah obyek skema yang mendefinisikan hubungan hirarki antara kolom atau set kolom. Dimensi juga bisa diartikan sebagai struktur yang mengkategorikan data untuk memudahkan pengguna dalam menjawab pertanyaan-pertanyaan bisnis.

Sumber : http://ranuchi.wordpress.com/

Dalam dimensional modeling, ada beberapa pendekatan yang digunakan untuk membuat data warehouse :

1. Skema Bintang (star schema)

Skema berbentuk seperti bintang, dimana ada satu tabel fakta (fact table) di pusat bintang dengan       beberapa tabel dimensi (dimensioal tables) yang mengelilinginya. Semua tabel dimensi berhubungan dengan tabel fakta. Tabel fakta memiliki beberapa key yang merupakan kunci indeks dalam tabel dimensi.

2. Skema Bola Salju (snowflake schema)

Skema bola salju merupakan perluasan dari skema bintang dengan beberapa tambahan tabel dimensi yang tidak berhubungan secara langsung dengan tabel fakta. Tabel dimensi tersebut berhubungan dengan tabel dimensi yang lain.

3. Fact Constellation

Pada skema ini terdapat beberapa tabel fakta yang menggunakan satu atau beberapa tabel dimensi secara bersama-sama, sehingga jika digambarkan akan terlihat seperti bintang. Skema ini juga dikenal dengan galaxy schema.

Sumber : http://haniif.wordpress.com/

Paket Informasi (information package) mengidentifikasi semua dimensi yang akan digunakan dalam analisa suatu aktivitas tertentu. 

Arsitektur Data Warehouse

Arsitektur adalah sekumpulan atau struktur yang memberikan kerangka keseluruhan rancangan suatu sistem atau produk. Arsitektur data menyediakan kerangka dengan mengidentifikasi dan memahami bagaimana data akan pindah melalui sistem yang digunakan oleh perusahaan. Arsitektur data untuk data warehouse memiliki komponen utama yaitu read only  database.

Karakteristik Arsitektur Data Warehouse :

1. Data diambil dari sistem asal (sistem informasi yang ada), database dan file.

2. Data dari sistem asalah diintegrasikan dan ditransformasi sebelum disimpan ke dalam database management system (DBMS) seperti Oracle, SQL Server, Sybase, My SQL, dan lain-lain.

3. Data Warehouse merupakan sebuah database terpisah dan bersifat hanya dapat dibaca dan dibuat khusus untuk mendukung pengambilan keputusan.

4. Pemakai mengakses data warehouse melalui aplikasi front and tool.

Sumber : http://www.academia.edu/5354417/Makalah-data-warehouse

Requirement Gathering Math :

1. Pemilihan proses.

2. Pemilihan.

3. Pemilihan ke dua,

4. Menyalin pre-kalkulasi ke tabel data.

5. Melengkapi tabel dimensi.

6. Pemilihan durasi basisdata.

7. Menelusuri perubahan dimensi.

8. Menentukan prioritas dan mode query.

Data Storage Page : adalah penyimpanan data ke dalam data warehouse.

Pendekatan Dimensional : 

Dalam pendekatan ini, data transaksi di partisi menjadi fakta (umumnya data transaksi numeric) atau dimensi (referensi ke informasi dari fakta).

(+) Data Warehouse akan lebih mudah dimengerti dan dipahami oleh pengguna.

(+) Penerimaan data dari data warehouse akan lebih cepat dan mudah.

(-) Untuk meningkatkan integritas, fakta, dan dimensi, meload data warehouse dari sistem operasi yang berbeda akan lebih kompleks.

(-) Akan lebih sulit untuk merubah struktur data warehouse jika organisasi tersebut melakukan perubahan dalam proses bisnisnya.

Pendekatan Normalisasi :

(+) Mudah untuk menambahkan informasi ke database.

(-) Karena banyaknya tabel yang terlibat, maka akan lebih sulit bagi pengguna untuk menggabungkan data dari sumber yang berbeda menjadi informasi atau untuk mengakses informasi tanpa benar-benar mengerti isi dari sumber data dan struktur data dari data warehouse.

Sumber : http://datawarehouse27102009.blogspot.com/