Comparing : wget, axel, lftp. and the winner is..
Transfer data antar server adalah hal lumrah untuk pekerjaan sebagai admin. kemarin dapat pengalaman mentransfer website dengan ukuran yang lumayan besar. 17Gb. dari server Singapur ke Server US, Dallas. saya mencoba beberapa software untuk memindahkan data tersebut.
kenapa saya menggunakan beberapa software ? ini dikarenakan ukuran data yang lumayan besar. ada usulan untuk mengkompress, kemudian mensplit menjadi file2 kecil.tapi, menurut saya, buang2 waktu. saya nekat saja untuk langsung transfer filenya bulet2. tanpa split. 17Gb.
1. LFTP
LFTP adalah aplikasi ftp client yang cukup bagus. karena dapat melakukan pengecekan CRC sebelum melakukan transfer. artinya, jika file yang didownload sudah ada dan memiliki nilai CRC yang sama, maka file tersebut tidak akan diambil kembali. sangat cocok untuk melakukan singkronisasi antar server via protokol FTP. tapi sayangnya, belum selesai 17Gb ditransfer, prosesnay sudah keburu mati duluan. padahal sudah saya set untuk running secara background. LFTP saya lupakan.
2. AXEL
aplikasi ini semacam download accelarator. mempunyai banyak fitur yang menarik bisa via http ataupun ftp. bahkan bisa download dari torrent segala. mirip2 dengan IDM dimana bisa diset sampe 16 connection. yang bisa membuat proses downlaod jadi lebih cepat. tapi nasibnya sama dengan LFTP. belum selesai download 17Gb, prosesnya sudah hilang duluan.
3. WGET
wget merupakan program standar bawaan linux untuk mendownload file via protokol http dan ftp. dan ternyata sangat handal bahkan untuk transfer data yang berukuran besar. 17Gb berhasil ditransfer dengan sukses. keunggulan dari wget adalah adanya opsi untuk continue jika koneksi terputus dan unlimited attemps. jadi kalo putus, akan berusaha untuk melanjutkan dan berhenti jika proses diinterupt. selain itu, mempunyai opsi untuk dijalankan secara background. jadi kita tidak perlu menunggu prosesnya. prosesnya dicatat dalam file log.
wget -b -c http://taujago.web.id/superveryhugefile.tar.bz2
Prosesnya akan dijalankan secara background.
untuk memantau prosesnya, tinggal amati file lognya
tail -f wget-log.x
and the winner versi taujago.web.id adalah WGET. .
wah memang ampuh ya mas wget..
wget memang yang paling mantab… multi fungsi.. bisa untuk mirror/web copy juga.
Koq ga pake rsync aja mas?
repot. rsync itu biasanya melewati protokol ssh. malah tambah berat. setup rsync daemon, repot juga.. ini kasusnya bandwidth terbatas loh.. pada kondisi normal, bandwidth oke, rsync is the best..
yo i… cuman sayang, gk bisa multi thread kayak axel. kalo bisa multi thread, mangtap banget..
iya.. wget memang oke..