Resume
CLOAswsxudo • MIT 6.S094: Computer Vision
Updated: 2026-02-13 13:23:37 UTC
Back Source
Prev Next

Berikut adalah rangkuman komprehensif dan terstruktur dari transkrip video yang Anda berikan.

Mengungkap Rahasia Computer Vision: Dari Deep Learning hingga Kompetisi SegFuse

Inti Sari (Executive Summary)

Video ini membahas secara mendalam konsep dasar Computer Vision dan Deep Learning, dengan fokus utama pada evolusi arsitektur jaringan saraf tiruan (CNN) dan tantangan dalam segmentasi semantik. Pembahasan dimulai dari dasar pemrosesan citra digital, tantangan utama dalam visi komputer, hingga perkembangan arsitektur modern seperti VGG, ResNet, dan SE-Nets. Topik ini kemudian menjembatani ke area yang lebih spesifik yaitu segmentasi semantik untuk kendaraan otonom melalui kompetisi "SegFuse", yang menantang peserta untuk mengintegrasikan informasi temporal (waktu) ke dalam pemrosesan visual yang sebelumnya hanya statis.

Poin-Poin Kunci (Key Takeaways)

  • Dominasi Deep Learning: Computer Vision modern sangat bergantung pada Deep Learning (jaringan saraf tiruan) untuk memetakan input mentah menjadi label semantik, meniru cara kerja korteks visual otak manusia.
  • Tantangan Utama: Lima tantangan besar dalam visi komputer adalah variasi pencahayaan, pose, variasi intra-kelas, oklusi (benda tertutup), dan dinamika temporal/konteks.
  • Evolusi CNN: Arsitektur CNN berkembang dari VGG yang sederhana namun berat parameter, menjadi GoogleNet yang efisien, ResNet dengan residual block untuk kedalaman jaringan, hingga SE-Nets yang memberi bobot dinamis pada saluran (channel).
  • Segmentasi Semantik: Berbeda dengan klasifikasi gambar, segmentasi memerlukan presisi piksel. Teknologi berkembang dari FCN ke DeepLab yang menggunakan Dilated Convolution dan CRF untuk hasil yang lebih halus.
  • Kompetisi SegFuse: Fokus utama adalah mengatasi keterbatasan segmentasi statis dengan memanfaatkan Optical Flow (pergerakan piksel antar frame) untuk meningkatkan akurasi persepsi kendaraan otonom secara dinamis.

Rincian Materi (Detailed Breakdown)

1. Pengantar Computer Vision & Tantangan Persepsi

Bagian ini memperkenalkan konteks kompetisi "SegFuse" (Deep Dynamic Driving Scene Segmentation) yang berfokus pada persepsi, berbeda dengan kompetisi lain yang berfokus pada reinforcement learning.
* Peran Data: Sistem visi komputer membutuhkan data yang diberi anotasi manusia (ground truth) untuk melatih jaringan saraf agar dapat memetakan input mentah (piksel RGB) menjadi label yang dimengerti.
* Tantangan dalam Citra: Meskipun mudah bagi manusia, komputer mengalami kesulitan karena:
* Variasi Pencahayaan: Perubahan cahaya adalah tantangan terbesar.
* Variasi Pose: Objek terlihat berbeda saat diputar atau diubah bentuknya.
* Variasi Intra-Kelas: Banyak variasi dalam satu kategori (misal: berbagai jenis anjing) dibandingkan antar kategori.
* Oklusi: Objek yang tertutup sebagian oleh objek lain.
* Konteks & Temporal: Mesin saat ini masih kesulitan memahami humor, konteks, dan informasi dinamis pergerakan.
* Klasifikasi Dasar: Penjelasan awal tentang klasifikasi gambar menggunakan dataset seperti CIFAR-10, di mana metode tradisional seperti K-Nearest Neighbors (KNN) hanya mencapai akurasi sekitar 30%, jauh di bawah manusia (95%) dan CNN (mendekati 100%).

2. Dasar-Dasar Convolutional Neural Networks (CNN)

Bagian ini menjelaskan mengapa CNN menjadi standar industri dalam memproses citra.
* Mekanisme Training: Jaringan dilatih dengan "menghukum" bobot yang salah dan "mengganjar" yang benar. Output klasifikasi ditentukan oleh neuron dengan nilai tertinggi.
* Spatial Invariance: CNN menggunakan filter yang digeser (sliding window) di seluruh gambar. Filter yang sama digunakan untuk mendeteksi fitur di pojok kiri atas maupun kanan bawah, sehingga mengurangi jumlah parameter secara drastis (parameter sharing).
* Operasi Konvolusi: Melibatkan input volume 3D, filter dengan kedalaman tertentu, stride (langkah pergeseran), dan padding (penambahan nol di tepi).
* Hierarki Fitur: Layer awal mendeteksi tepi sederhana, sedangkan layer lebih dalam mendeteksi fitur kompleks hingga makna semantik keseluruhan.
* Pooling: Teknik Max Pooling digunakan untuk mengurangi resolusi spasial. Ini bermanfaat untuk klasifikasi (menggabungkan fitur menjadi entitas), namun merugikan untuk segmentasi karena kehilangan detail spasial.

3. Evolusi Arsitektur Jaringan: Dari VGG hingga SE-Nets

Perkembangan arsitektur CNN ditandai dengan peningkatan efisiensi dan akurasi, dibuktikan dengan keberhasilan melampaui performa manusia dalam dataset ImageNet (14 juta gambar).
* VGG: Dikenal dengan kesederhanaan dan kemiripan arsitektur (konvolusi-pooling-konvolusi). Namun, VGG memiliki jumlah parameter yang sangat besar (138 juta parameter).
* GoogleNet: Memperkenalkan Inception Module yang menggunakan berbagai ukuran konvolusi (1x1, 3x3, 5x5) secara paralel. Ini menangkap fitur lokal dan abstrak sekaligus dengan parameter yang lebih sedikit.
* ResNet: Menggunakan Residual Block yang memungkinkan input melewati lapisan tanpa transformasi (skip connection). Ini memudahkan pelatihan jaringan yang sangat dalam dan menurunkan error rate di bawah tingkat kesalahan manusia (4% vs 5.1%).
* Squeeze and Excitation (SE) Networks: Arsitektur State of the Art (2017) yang menambahkan parameter ke setiap saluran (channel) untuk menyesuaikan pembobotan berdasarkan konten isi gambar, mengurangi error hingga 25%.

4. Segmentasi Semantik & Pentingnya Informasi Temporal

Topik beralih dari klasifikasi gambar ke segmentasi semantik, di mana setiap piksel diberi label, yang krusial untuk medis dan kendaraan otonom.
* Evolusi Segmentasi:
* FCN (Fully Convolutional Networks): Mengubah jaringan klasifikasi menjadi segmentasi dengan mengganti lapisan fully connected dengan decoder untuk upsampling. Hasilnya masih kasar (resolusi rendah).
* SegNet & DeepLab: Memperkenalkan kerangka kerja encoder-decoder dan Dilated Convolution untuk menjaga tekstur resolusi tinggi sambil menangkap konteks spasial. DeepLab juga menggunakan Conditional Random Fields (CRF) untuk memperhalus hasil berdasarkan intensitas gambar.
* Dinamika Temporal: Segmentasi saat ini umumnya statis (frame-by-frame). Untuk mengemudi, memahami pergerakan (dinamika) sangat penting.
* Optical Flow: Teknik untuk memperkirakan pergerakan piksel (arah dan magnitudo) antar frame.
* FlowNet: Jaringan saraf untuk menghitung Optical Flow secara dense.
* FlowNet 1.0: Dua arsitektur (FlowNetSimple dan FlowNetCorrelation).
* FlowNet 2.0: Menggabungkan arsitektur sebelumnya untuk hasil presisi tinggi pada tepi objek dan berjalan sangat efisien (8-140 fps).

5. Kompetisi SegFuse & Tantangan Masa Depan

Bagian penutup menjelaskan detail kompetisi dan dataset yang digunakan.
* Dataset SegFuse: Dataset berupa video mengemudi di sekitar Cambridge dalam resolusi tinggi (1080p dan 8k 360 derajat). Data yang disediakan mencakup video asli, ground truth (segmentasi frame-by-frame oleh manusia via Mechanical Turk), dan output jaringan segmentasi state of the art yang saat ini hanya memproses per frame tanpa informasi temporal.
* Tantangan Utama: Peserta diminta untuk meningkatkan kualitas segmentasi output jaringan dengan memanfaatkan informasi temporal (pergerakan antar frame).
* Wawasan Tambahan: Penelitian menunjukkan bahwa urutan penggunaan dataset kecil yang jarang (sparse small multiple datasets) selama proses pelatihan sangat mempengaruhi hasil akhir.

Kesimpulan & Pesan Penutup

Video ini menegaskan bahwa meskipun Deep Learning telah mencapai keberhasilan luar biasa dalam klasifikasi gambar statis melalui arsitektur seperti ResNet dan SE-Nets, tantangan berikutnya adalah mengintegrasikan dimensi waktu. Kompetisi "SegFuse" dihad