Awas, bit rot mengancam file & data kita : http://ask.slashdot.org/story/12/…

Awas, bit rot mengancam file & data kita : http://ask.slashdot.org/story/12/05/07/1859235/ask-slashdot-whats-a-good-tool-to-detect-corrupted-files

Sekilas mengenai Bit Rot : http://en.wikipedia.org/wiki/Bit_rot

Soal bit rot ini sudah sejak dulu saya ketahui – namun, tanpa saya sadari, tiba-tiba saja mendadak sudah menjadi sangat relevan.

Contoh: Spec SATA menyatakan bahwa untuk setiap 1 TB, akan ada 1 bit yang error. Padahal, komputer di rumah saja sudah 3 TB ukuran hard disk nya :-/ http://goo.gl/UqaXj

Itu baru dari SATA. Masih ada lagi potensi ancaman bit rot / error dari :

# Flashdisk : http://lwn.net/Articles/349970/
# DVD & CD
# Cosmic Rays : 1 error per 256 MB per Bulan : http://en.wikipedia.org/wiki/Cosmic_ray#Effect_on_electronics
# Soft error : http://en.wikipedia.org/wiki/Soft_error#Causes_of_soft_errors
# Dst

Apa yang bisa kita lakukan untuk melindungi data-data kita dari ini semua ?

Pencegahan

# Backup data : dari Linux, bisa menggunakan rsync.
Atau, bisa seperti Time Machine dengan rdiff-backup : http://www.howtoforge.com/linux_rdiff_backup

# Gunakan filesystem yang membuatkan checksum untuk seluruh file & data. Contoh: ZFS, brtfs.
(note: ext4 hanya membuat checksum untuk metadata)

# Gunakan memory / RAM dengan fitur ECC (Error Correcting Code)

# Duplikasi data : Filesystem, seperti Ceph, secara otomatis akan membuat copy dari data yang ada dan menyebarkannya ke komputer yang berbeda = data lebih aman + performa tetap tinggi.
http://en.wikipedia.org/wiki/Ceph

note: RAID ada banyak problemnya, lebih baik gunakan Ceph / dll untuk dalam skala besar : http://lwn.net/Articles/349970/

# Gunakan script md5verify : http://micropipes.com/blog/2011/01/30/md5verify-a-script-to-automatically-verify-file-integrity/

# Gunakan par2 untuk membuat verification + recovery files : http://en.wikipedia.org/wiki/Parchive

note : Par2 ini sangat CPU-intensive. Saya pribadi menggunakan par2+tbb, yang bisa memanfaatkan semua core CPU yang ada : http://chuchusoft.com/par2_tbb/

contoh : par2 create -n1 filesaya.doc

Maka akan dibuat sebuah file recovery bernama filesaya.doc.par2 & filesaya.doc.vol000+100.par2
File ini kemudian bisa digunakan untuk memeriksa integritas filesaya.doc – dan menyelamatkannya jika ternyata corrupt : par2 verify filesaya.doc

Embedded Link

Ask Slashdot: What’s a Good Tool To Detect Corrupted Files? – Slashdot
Volanin writes “Currently I use a triple boot system on my Macbook, including MacOS Lion, Windows 7, and Ubuntu Precise (on which I spend the great majority of my time). To share files between these s…

Post imported by Google+Blog for WordPress.

5 thoughts on “Awas, bit rot mengancam file & data kita : http://ask.slashdot.org/story/12/…

  1. Deteksi

    (#) Gunakan software file : http://ask.slashdot.org/comments.pl?sid=2834163&cid=39918785

    (#) Jalankan md5verify, untuk menemukan file-file yang berubah (baca: kemungkinan corrupt) : http://micropipes.com/blog/2011/01/30/md5verify-a-script-to-automatically-verify-file-integrity/

    (#) Jalankan par2 verify filesaya (jika sudah pernah menjalankan par2 create sebelumnya)

    Recovery

    Jika sudah telanjur ada data yang error / corrupted, apa yang bisa kita lakukan ?

    (#) Restore data dari backup yang terbaru.

    (#) par2 verify filesaya : ini akan memeriksa filesaya + otomatis membetulkannya jika ternyata rusak.

  2. mungkin cloud storage dapat menjadi solusi..dengan catatan hanya file yang benar2 penting saja yang di-store di cloude mengingat storage di cloud yang ada saat ini masih mahal-mahal space-nya hehe

  3. Saat ini saya sedang berusaha setup "tetangga storage" (sambil lirik +Riyogarta Pratikto ) – kita jadi saling bisa menyediakan space untuk backup kepada tetangga kita. Dan backup kita lebih aman karena berada di lokasi yang berbeda secara fisik dari lokasi data aslinya (baca: rumah kita)

    Tapi usaha ini sedang terhenti, karena sedang sibuk mengatasi problem listrik di rumah saya (baca: listrik berkali-kali korslet dalam sehari + bunyi ledakan. Horor)

    To be continued 🙂

Leave a Reply

Your email address will not be published. Required fields are marked *