Reverse Engineering

Materi RE lebih lanjut ada di http://yohan.es/reverse-engineering/

Reverse engineering merupakan topik paling menarik, tapi juga butuh waktu paling lama untuk belajar. Membaca kode biner bisa sangat membosankan apalagi ketika awal belajar (belum tahu di mana harus memulai).

Saran utama saya untuk belajar reverse engineering: buatlah program sendiri, compile, disassembler, lalu bongkar sendiri.

Cerita mengenai apa itu reverse engineering:

http://blog.compactbyte.com/2008/07/26/hacking-dan-reverse-engineering/

Cerita mengenai Flare On, di bagian penutup ada juga topik bagaimana memulai reverse engineering:

http://blog.compactbyte.com/2015/09/08/reverse-engineering/

Jenis Soal Reverse Engineering

Pada dasarnya 90% soal ini seperti mencari serial number untuk sebuah software. Ada dua jenis utama:

kita diminta memasukkan password/serial jika benar maka flag akan ditampilkan
kita diminta memasukkan flag untuk dicek apakah flagnya benar atau tidak

Contoh varian lain: kita diminta bermain game atau menebak sesuatu, jika benar maka kita akan diberi flagnya.

Untuk soal reversing yang sangat sederhana, komparasi dilakukan langsung terhadap string/password yang disimpan di program (paling sederhana, bisa dibreak dengan strings).

Pemeriksaan yang biasanya dilakukan adalah seperti ini:

Komparasi dengan string yang sudah dienkripsi
String dalam program didekrip lalu dibandingkan dengan yang menjadi input
String input dienkrip lalu dibandingkan dengan yang tersimpan dalam program
Melakukan pengecekan algoritmik, misalnya: jumlah 2 karakter pertama harus X, selisih dua karakter pertama harus Y

Ada banyak variasi untuk dua hal di atas. Biasanya yang saya lakukan adalah:

Mencari tahu apakah akan dilakukan komparasi di akhir (strcmp atau sejenis), jika ya, coba break di situ (atau gunakan preload)
Mencari tahu apakah perbandingan dilakukan per karakter (dan berhenti setelah karakter salah pertama), jika ya maka bisa dibruteforce menggunakan Intel PIN

Antidebug

Untuk windows, ada banyak sekali teknik antidebug yang bisa dipakai. Untuk linux, biasanya hanya teknik ptrace yang dipakai. Ada juga soal yang sengaja berjalan lama karena menggunakan sleep.

C

Kebanyakan peserta CTF akan menggunakan IDA Pro (bajakan), atau IDA Free (jika soalnya for Windows) untuk melakukan disassembly dan atau dekompilasi. Sebagai informasi, harga resmi IDA Pro sangat mahal (orde puluhan hingga ratusan juta) tapi software alternatif lain masih terlalu sulit dipakai.

Update: sekarang sudah ada Ghidra yang gratis dan bisa melakukan dekompilasi dengan baik.

Alternatif lain yang dapat dipakai adalah: Hopper (shareware, relatif murah), gdb, radare2 (powerful tapi kurang user friendly).

LD_PRELOAD

LD_PRELOAD memungkinkan kita meload library untuk mengganti behavior sebuah fungsi. Ada banyak kasus bisa diselesaikan dengan ini. Setelah diload ke memori, library kita juga bisa memanggil fungsi yang sudah ada di dalam program.

Patch Jump

Beberapa soal sederhana bisa diselesaikan dengan mempatch kebalikan instruksi misalnya jz menjadi jnz (atau sebaliknya). Jika hanya diperlukan sekali, IP/EIP/RIP bisa diset langsung dengan gdb