Awas, bit rot mengancam file & data kita : http://ask.slashdot.org/story/12/05/07/1859235/ask-slashdot-whats-a-good-tool-to-detect-corrupted-files

Sekilas mengenai Bit Rot : http://en.wikipedia.org/wiki/Bit_rot

Soal bit rot ini sudah sejak dulu saya ketahui – namun, tanpa saya sadari, tiba-tiba saja mendadak sudah menjadi sangat relevan.

Contoh: Spec SATA menyatakan bahwa untuk setiap 1 TB, akan ada 1 bit yang error. Padahal, komputer di rumah saja sudah 3 TB ukuran hard disk nya :-/ http://goo.gl/UqaXj

Itu baru dari SATA. Masih ada lagi potensi ancaman bit rot / error dari :

# Flashdisk : http://lwn.net/Articles/349970/
# DVD & CD
# Cosmic Rays : 1 error per 256 MB per Bulan : http://en.wikipedia.org/wiki/Cosmic_ray#Effect_on_electronics
# Soft error : http://en.wikipedia.org/wiki/Soft_error#Causes_of_soft_errors
# Dst

Apa yang bisa kita lakukan untuk melindungi data-data kita dari ini semua ?

Pencegahan

# Backup data : dari Linux, bisa menggunakan rsync.
Atau, bisa seperti Time Machine dengan rdiff-backup : http://www.howtoforge.com/linux_rdiff_backup

# Gunakan filesystem yang membuatkan checksum untuk seluruh file & data. Contoh: ZFS, brtfs.
(note: ext4 hanya membuat checksum untuk metadata)

# Gunakan memory / RAM dengan fitur ECC (Error Correcting Code)

# Duplikasi data : Filesystem, seperti Ceph, secara otomatis akan membuat copy dari data yang ada dan menyebarkannya ke komputer yang berbeda = data lebih aman + performa tetap tinggi.
http://en.wikipedia.org/wiki/Ceph

note: RAID ada banyak problemnya, lebih baik gunakan Ceph / dll untuk dalam skala besar : http://lwn.net/Articles/349970/

# Gunakan script md5verify : http://micropipes.com/blog/2011/01/30/md5verify-a-script-to-automatically-verify-file-integrity/

# Gunakan par2 untuk membuat verification + recovery files : http://en.wikipedia.org/wiki/Parchive

note : Par2 ini sangat CPU-intensive. Saya pribadi menggunakan par2+tbb, yang bisa memanfaatkan semua core CPU yang ada : http://chuchusoft.com/par2_tbb/

contoh : par2 create -n1 filesaya.doc

Maka akan dibuat sebuah file recovery bernama filesaya.doc.par2 & filesaya.doc.vol000+100.par2
File ini kemudian bisa digunakan untuk memeriksa integritas filesaya.doc – dan menyelamatkannya jika ternyata corrupt : par2 verify filesaya.doc