Logical dan Physical Design

Resume Pertemuan 7

Data Warehouse (O1) : Siti Mukaromah, S.Kom.

I Putu Narario Sastra (11.41010.0020)

Logical Design merupakan perancangan yang dapat dilakukan tanpa harus tergantung dengan platform atau teknologi yang akan digunakan untuk mengimplementasikan sistem. Jenis perancangan ini dapat dilakukan sebelum menentukan teknologi yang akan digunakan dalam sistem. Setelah teknologi sistem diterapkan, maka perancangan akan beralih ke physical design.

Physical Design merupakan perancangan yang lebih detil daripada logical design, dan hasilnya lebih spesifik kepada platform tertentu, karena perancangan ini tergantung pada jenis teknologi yang digunakan untuk mengimplementasikan sistem.

Logical Design sering digunakan pada tahap analisis, sedangkan pada tahap perancangan sistem biasanya sudah mengacu pada Physical Design.

Sumber : http://ambarsyafaatun.blogspot.com/2011/06/perancangan-sistem.html

Star Schema dan Snowflake Schema

Resume Pertemuan 6
Data Warehouse (O1) : Siti Mukaromah, S.Kom.

I Putu Narario Sastra (11.41010.0020)

Disebut Star Schema karena Entity Relationship Diagram (ERD) dari star schema menyerupai bintang, tabel fakta berada di tengah dengan dikelilingi tabel dimensi disekitarnya.

Contoh Gambar Star Schema :



Sedangkan Snowflake Schema lebih kompleks jika dibandingkan dengan star schema karena snowflake schema merupakan hasil pengembangan dari star schema, karena tabel dimensinya merupakan hasil dari normalisasi beberapa tabel yang berhubungan.

Contoh Gambar Snowflake Schema :




Sumber : http://levinbosz.wordpress.com/2014/01/02/star-schema-dan-snowflake-schema-baru/

Arsitektur dan Infrastruktur Data Warehouse

Resume Pertemuan 5

Data Warehouse (O1) : Siti Mukaromah, S.Kom.

I Putu Narario Sastra (11.41010.0020)

Arsitektur dalam artian luas adalah merancang dan membangun keseluruhan lingkungan binaan, mulai dari level makro perencanaan, perancangan, arsitektur lanskap, hingga ke level mikro yaitu desain. Arsitektur juga merujuk pada hasil-hasil proses perancangan tersebut.

Sumber : http://id.wikipedia.org/

Arsitektur Data Warehouse mencakup proses ETL (Extraction, Transformation, Loading) untuk memindahkan data dari operational data source dan sumber data lainnya ke dalam data warehouse.

ETL (Extraction, Transformation, Loading) 

Proses ETL merupakan proses yang harus dilalui dalam pembentukan data warehouse (Kimball, 2004). Berikut ini adalah penjelasannya :

Ekstraksi Data (Extract) adalah proses dimana data diambil dari berbagai sistem operasional, baik menggunakan query, atau aplikasi ETL.

1. Ekstrasi data otomatis dari aplikasi sumber.

2. Peyaringan atau seleksi data hasil ekstrasi.

3. Pengiriman data dari berbagai platform aplikasi ke sumber data.

4. Perubahan format layout data dari format aslinya.

5. Penyimpanan dari file sementara untuk penggabungan dengan hasil ekstrasi dari sumber lain.

Transformasi Data (Transformation) adalah proses dimana data mentah (raw data) hasil ekstrasi disaring dan dirubah sesuai dengan kaidah bisnis yang berlaku. Berikut adalah langkah-langkah dari transformasi data :

1. Memetakan data input dari skema data aslinya ke skema data warehouse.

2. Melakukan konversi tipe data.

3. Pembersihan serta pembuangan duplikasi dan kesalahan data.

4. Penghitungan nilai-nilai derivat.

5. Penghitungan nilai-nilai agregat.

6. Pemeriksaan integritas referensi data.

7. Pengisian nilai-nilai kosong dengan nilai default.

8. Penggabungan data.

Pengisian Data (Loading) proses terakhir yang perlu dilakukan adalah proses pemuatan datayang didapatkan dari hasil transformasi ke dalam data warehouse. Cara untuk memuat data adalah dengan menjalankan SQL Script secara periodik.

Sumber : http://informatika.web.id/category/data-warehouse/

Pendekatan Dalam Membangun Data Warehouse

Top-Down Approach

- Arsitektur ini biasa disebut dengan hub-and-spoke architecture (The Corporate Information           Factory).

- Awalnya dibangun sebuah enterprise data warehouse.

- Data level atomic disimpan dalam waktu 3 tahun normal form dalam enterprise data warehouse.

- Data akan di extract dari source system dan di load ke dalam data warehouse pada level                 glanularity terendah (data level atomic).

- Data akan di load ke dalam data warehouse lewat persistent staging area.

- Data dalam data warehouse dibuatkan summary nya, dibuatkan dimensional dengan cara diteruskan ke beberapa dependent data mart. Data mart ini hanya menyimpan data summary yang disimpan dalam star-schema atau snowflake-schema.

- User dapat melakukan query balik ke data warehouse maupun data mart.

Bottom-Up Approach

- Arsitektur ini disebut dengan the data warehouse bus structure.

- Awalnya dibangun dengan sebuah dimensional data mart, belakangan ini bisa dikembangkan           menjadi beberapa data mart sesuai dengan kebutuhan dan modal dari pengguna.

- Data mart mendukung baik data atomic atau data summary.

- Penggunaan conform dimension adalah mandatory, dengan menggunakan bus architecture maka       semua data mart  bisa terintegrasi secara logika sehingga dapat memberikan pandangan enterprise akan data.

Sumber :  http://yoyonb.wordpress.com/2009/12/24/bagaimana-arsitektur-data-warehouse/

Karakteristik Arsitektur Data Warehouse

- Data diambil dari sistem asal (sistem informasi yang ada), database dan file.

- Data dari sistem asal diintegrasikan dan ditransformasi sebelum disimpan ke dalam                          database management system (DBMS) seperti Oracle, SQL Server, Sybase, dan lain sebagainya.

- Data warehouse merupakan sebuah database terpisah yang bersifat hanya dibuat khusus untuk       pendukung keputusan.

- Pemakai mengakses data warehouse melalui aplikasi front end tool.

Infrastruktur Data Warehouse

- Oracle, SQL Server, dan Sybase.

- Front End Tool (aplikasi untuk mengakses data warehouse). User merupakan pengguna akhir dari sistem.

Sumber : http://padamasa.wordpress.com/category/materi/stikom/data-warehouse/

Kebutuhan Data Warehouse

Resume Pertemuan 4

Data Warehouse (O1) : Siti Mukaromah, S.Kom.

I Putu Narario Sastra (11.41010.0020)

Dimensi adalah obyek skema yang mendefinisikan hubungan hirarki antara kolom atau set kolom. Dimensi juga bisa diartikan sebagai struktur yang mengkategorikan data untuk memudahkan pengguna dalam menjawab pertanyaan-pertanyaan bisnis.

Sumber : http://ranuchi.wordpress.com/

Dalam dimensional modeling, ada beberapa pendekatan yang digunakan untuk membuat data warehouse :

1. Skema Bintang (star schema)

Skema berbentuk seperti bintang, dimana ada satu tabel fakta (fact table) di pusat bintang dengan       beberapa tabel dimensi (dimensioal tables) yang mengelilinginya. Semua tabel dimensi berhubungan dengan tabel fakta. Tabel fakta memiliki beberapa key yang merupakan kunci indeks dalam tabel dimensi.

2. Skema Bola Salju (snowflake schema)

Skema bola salju merupakan perluasan dari skema bintang dengan beberapa tambahan tabel dimensi yang tidak berhubungan secara langsung dengan tabel fakta. Tabel dimensi tersebut berhubungan dengan tabel dimensi yang lain.

3. Fact Constellation

Pada skema ini terdapat beberapa tabel fakta yang menggunakan satu atau beberapa tabel dimensi secara bersama-sama, sehingga jika digambarkan akan terlihat seperti bintang. Skema ini juga dikenal dengan galaxy schema.

Sumber : http://haniif.wordpress.com/

Paket Informasi (information package) mengidentifikasi semua dimensi yang akan digunakan dalam analisa suatu aktivitas tertentu. 

Arsitektur Data Warehouse

Arsitektur adalah sekumpulan atau struktur yang memberikan kerangka keseluruhan rancangan suatu sistem atau produk. Arsitektur data menyediakan kerangka dengan mengidentifikasi dan memahami bagaimana data akan pindah melalui sistem yang digunakan oleh perusahaan. Arsitektur data untuk data warehouse memiliki komponen utama yaitu read only  database.

Karakteristik Arsitektur Data Warehouse :

1. Data diambil dari sistem asal (sistem informasi yang ada), database dan file.

2. Data dari sistem asalah diintegrasikan dan ditransformasi sebelum disimpan ke dalam database management system (DBMS) seperti Oracle, SQL Server, Sybase, My SQL, dan lain-lain.

3. Data Warehouse merupakan sebuah database terpisah dan bersifat hanya dapat dibaca dan dibuat khusus untuk mendukung pengambilan keputusan.

4. Pemakai mengakses data warehouse melalui aplikasi front and tool.

Sumber : http://www.academia.edu/5354417/Makalah-data-warehouse

Requirement Gathering Math :

1. Pemilihan proses.

2. Pemilihan.

3. Pemilihan ke dua,

4. Menyalin pre-kalkulasi ke tabel data.

5. Melengkapi tabel dimensi.

6. Pemilihan durasi basisdata.

7. Menelusuri perubahan dimensi.

8. Menentukan prioritas dan mode query.

Data Storage Page : adalah penyimpanan data ke dalam data warehouse.

Pendekatan Dimensional : 

Dalam pendekatan ini, data transaksi di partisi menjadi fakta (umumnya data transaksi numeric) atau dimensi (referensi ke informasi dari fakta).

(+) Data Warehouse akan lebih mudah dimengerti dan dipahami oleh pengguna.

(+) Penerimaan data dari data warehouse akan lebih cepat dan mudah.

(-) Untuk meningkatkan integritas, fakta, dan dimensi, meload data warehouse dari sistem operasi yang berbeda akan lebih kompleks.

(-) Akan lebih sulit untuk merubah struktur data warehouse jika organisasi tersebut melakukan perubahan dalam proses bisnisnya.

Pendekatan Normalisasi :

(+) Mudah untuk menambahkan informasi ke database.

(-) Karena banyaknya tabel yang terlibat, maka akan lebih sulit bagi pengguna untuk menggabungkan data dari sumber yang berbeda menjadi informasi atau untuk mengakses informasi tanpa benar-benar mengerti isi dari sumber data dan struktur data dari data warehouse.

Sumber : http://datawarehouse27102009.blogspot.com/ 

Data Warehouse, Data Mart, dan Komponen Penyusun Data Warehouse

Resume Pertemuan 2

Data Warehouse (O1) : Siti Mukaromah, S.Kom.

I Putu Narario Sastra (11.41010.0020)

Data Warehouse adalah Gudang Data, yang biasa digunakan oleh sebuah organisasi untuk mengelola dan memelihara histori data dari sebuah sistem atau aplikasi operasional.

Data Mart adalah bagian dari data warehouse yang biasanya berorientasi pada lini bisnis tertentu atau tim.

Perbedaan Antara Data Warehouse dan Data Mart :

- Data warehouse merupakan gabungan dari beberapa data mart dan levelnya berada pada perusahaan atau organisasi.

- Data mart merupakan bagian dari data warehouse dan berada pada level departemen pada perusahaan atau organisasi tersebut. Data mart menangani sebuah bisnis proses, misalkan penjualan dan lain sebagainya.

Sumber : http://aullyaarvianto.wordpress.com/2014/01/18/perbedaan-data-warehouse-dan-data-mart/

Karakteristik Data Warehouse :

1. Subject Oriented : pada operational systems data disimpan berdasarkan aplikasi.

2. Integrated : data yang disimpan dalam data warehouse berasal dari berbagai operational systems.

3. Time-Variant : pada data warehouse data yang disimpan merupakan histori data dalam kurun waktu tertentu, bukan hanya data terkini.

4. Non-Volatile : pada operational systems data di update sesuai dengan transaksi bisnis.

5. Data Granularity : dalam operational systems data biasanya disimpan dalam tingkatan detil data terendah.

Sumber : http://lib.ui.ac.id/file?file=digital/124248-SK-591-Perancangan%20data-Analisis.pdf

Komponen Data Warehouse :

1. Operational Data, merupakan sumber data dari data warehouse yang diambil langsung dari mainframe, RDBMS seperti Oracle, My Sql dan lain sebagainya.

2. Load Manager, disebut sebagai komponen front-end bertugas melakukan seluruh operasi yang berhubungan dengan ekstrasi dan me-load data ke warehouse.

3. Warehouse Manager, komponen ini melakukan seluruh operasi-operasi yang berhubungan dengan kegiatan manajemen data di dalam warehouse.

Operasi-Operasi tersebut meliputi :

- Analisis terhadap data untuk memastikan konsistensi.

- Transformasi dan penggabungan sumber data dari tempat penyimpanan sementara menjadi tabel-tabel data warehouse.

- Penciptaan indeks-indeks dan view berdasarkan tabel-tabel dasar.

- Melakukan denormalisasi dan agregasi jika diperlukan.

- Backing-Up  dan pengarsipan data.

4. Query Manager, juga disebut komponen back-end,  melakukan operasi-operasi yang berhubungan dengan user queries.

5. End-Users Access Tools, prinsip atau tujuan dari dibangunnya data warehouse adalah untuk menyediakan informasi bisnis kepada user untuk dapat melakukan pengambilan keputusan secara tepat dan cepat.

5 Groups utama dari End-Users Access Tools :

- Reporting and query tools.

- Application development tools.

- Executive information systems (EIS) tools.

- Online analytical processing (OLAP) tools.

- Data mining tools. 

Sumber : http://www.charitasfibriani.files.wordpress.com/2010/09/pertemuan_31.doc

Meta Data adalah informasi tambahan yang menyertai dan mendeskripsikan tentang sebuah data tertentu. Misalnya, sebuah gambar memiliki meta data yang menginformasikan seberapa besar ukuran file gambar, kedalaman warnanya, resolusinya, kapan dibuatnya, dan sebagainya.

Sumber : http://www.smitdev.com/posts/metadata362.php

Tren Data Warehouse Di Masa Depan :

Service Oriented Architecture (SOA) merupakan cara membangun aplikasi kecil tetapi membentuk suatu aplikasi raksasa yang apabila dari aplikasi kecil tersebut digabungkan dengan syarat aplikasi memiliki ketergantungan. Dengan begitu aplikasi tidak akan memakan biaya besar apabila ada perubahan di salah satu komponen yang perlu dikembangkan karena aplikasi pisah-pisah menjadi banyak dan saling berkaitan/saling membutuhkan.

Real Time Data Warehouse di masa lalu data di data warehouse di perbaharui 2-3 tahun, beberapa tahun lalu di perbaharui setiap hari atau setiap minggu. Disini para pengguna ingin melihat bagaimana data warehouse diperbaharui setiap menit atau bahkan realtime. Contohnya untuk histori transaksi yang langsung masuk data warehouse.

Sumber : http://rahmadya.com/2009/04/08/pertemuan-iii-data-warehouse/

Testing Sistem

Resume Pertemuan 1

Testing dan Implementasi Sistem (Q1) : Anjik Sukmaaji, S.Kom., M.Eng.

I Putu Narario Sastra (11.41010.0020)

- Testing Menurut Myers 1979 : adalah proses eksekusi program/sistem secara intens untuk menemukan error. (Deteksi Error)

- Testing Menurut Hetzel 1973 : adalah tahap percobaan aplikasi, apakah aplikasi itu sudah sesuai dengan yang diharapkan. (Kinerja dan Hasil)

- Testing Menurut Standar ANSI/IEEE 1059 : adalah proses menganalisa suatu entitas software untuk mendeteksi perbedaan antara kondisi yang ada dengan kondisi yang diinginkan (Defects/Error/Bugs) dan mengevaluasi fitur-fitur dari entitas software.

# Pandangan Praktisi Mengenai Testing :

1. Melakukan cek spesifikasi program.

2. Menemukan bugs program.

3. Menentukan penerimaan dari pengguna.

4. Memastikan sistem siap digunakan.

5. Meningkatkan kepercayaan terhadap kinerja program.

6. Memperlihatkan program berjalan dengan benar (tidak error dan sudah sesuai).

7. Mengetahui keterbatasan sistem.

8. Melakukan evaluasi kemampuan sistem.

Verivikasi : pengecekan entitas-entitas, termasuk software untuk pemenuhan dan konsistensi dengan melakukan evaluasi hasil dengan kebutuhan yang telah ditetapkan.

Deteksi Error : membuat kesalahan secara intensif untuk menentukan apakah suatu hal itu terjadi bilamana tidak seharusnya terjadi atau sebaliknya.

Validasi :  melihat kebernaran sistem, apakah proses yang ditulis sesuai dengan kebutuhan pengguna atau tidak.

# Tujuan Akhir Testing :

1. Apakah software sudah siap digunakan?

2. Apa saja risiko?

3. Apa saja kemampuannya?

4. Apa saja keterbatasannya?

5. Apa saja masalahnya?

6. Apakah telah berlaku seperti yang diharapkan?

# Definisi Kualitas :

1. CROSBY : kualitas adalah pemenuhan terhadap kebutuhan.

2. R. GLASS : kualitas adalah tingkat kepuasan.

3. J. JURAN : kualitas adalah tepat guna.

4. W.E. PERRY : kualitas adalah pemenuhan terhadap standar.

Faktor Kualitas : Fungsional (luar), Rekayasa (dalam), dan Adaptabilitas (untuk kedepannya).

Software Berkualitas : adalah software yang bebas error dan bugs secara objektif, tepat waktu dan dana, sesuai dengan kebutuhan, dan dapat di maintenance.

# 3 Tingkatan Testing : 

1. Unit Testing : testing terhadap penulisan kode-kode program dalam unit terkait secara individual.

2. Sistem Testing : testing pada sistem terintegrasi untuk melakukan verivikasi bahwa sistem telah sesuai spesifikasi.

3. Acceptance Testing : testing formal yang dilakukan untuk menentukan apakah sistem telah memenuhi kriteria penerimaan dan memberdayakan pelanggan untuk menentukan bahwa sistem diterima atau tidak.

Sistem : kumpulan dari elemen-elemen yang saling berinteraksi untuk mencapai tujuan tertentu.

Karakteristik Sistem : Mempunyai elemen-elemen, Batas sistem (boundary), Lingkungan luar sistem, Penghubung, Output, Proses, Input, Sasaran.

Pengembangan Sistem : adalah memperbaiki sistem yang telah ada. Dapat berarti menyusun sistem baru atau mengganti sistem lama secara keseluruhan.

Peningkatan Sistem Baru : Information, Service, Efficiency, dan Performance.

Data Warehouse, OLTP, dan OLAP

Resume Pertemuan 1
Data Warehouse (O1) : Siti Mukaromah, S.Kom.

I Putu Narario Sastra (11.41010.0020)


# Data Warehouse adalah Gudang Data, yang biasa digunakan oleh sebuah organisasi untuk mengelola dan memelihara histori data dari sebuah sistem atau aplikasi operasional. Data warehouse dapat mengintegrasi berbagai macam jenis data dari berbagai macam aplikasi atau sistem.

Sumber : http://opistation.wordpress.com/2013/10/15/pengertian-data-warehouse/

# OLTP (Online Transaction Processing) adalah sebuah sistem yang memproses transaksi secara langsung melalui komputer yang terhubung dalam jaringan (Nandang, 2004). Seperti contoh, kasir super market yang menggunakan mesin dalam proses transaksinya.

# OLAP (Online Analytical Processing) merupakan bagian dari business intelligency yang berguna untuk menyediakan laporan analisis, seperti penjualan, marketing dan lain-lain. Model multidimensi yang mengijinkan query analisis yang kompleks dengan kecepatan eksekusi yang tinggi (PC Media, 2007).

Terdapat perbedaan antara OLTP dan OLAP, dimana OLAP menggambarkan sebuah class teknologi yang dirancang untuk menganalisa dan mengakses data secara khusus. Sedangkan OLTP mempunyai karakteristik memiliki beberapa user yang dapat creating, updating, retrieving untuk setiap record data, OLTP juga sangat maksimal bila digunakan untuk updating data.

Sumber : http://adiwira058.wordpress.com/2008/12/09/perbedaan-oltp-dengan-olap/