Generative AI telah menarik perhatian dunia dan menjadi tren global pada tahun 2023, dengan peluncuran berbagai produk konsumen berbasis AI generatif. Chatbot ChatGPT menciptakan rekor baru dengan mencapai 100 juta pengguna bulanan hanya dalam dua bulan saja. Sebagai perbandingan, platform media sosial populer seperti TikTok dan Instagram memerlukan waktu yang lebih lama untuk mencapai pencapaian serupa. Di balik kesuksesan ini, ada bertahun-tahun riset dan pengembangan di bidang generative AI, yang didorong oleh kemajuan signifikan dalam daya komputasi, ketersediaan kumpulan data besar untuk pelatihan, persaingan pasar, dinamika geopolitik, serta inovasi dalam desain dan alat model. Saat ini, kita berada di ambang era baru di mana Generative AI telah menjadi bagian tak terpisahkan dari kehidupan sehari-hari kita.
Pada tahun 2023, kebutuhan kapasitas komputasi untuk model meningkat hingga 100 juta kali lipat dibandingkan 10 sebelumnya. Inovasi dalam melakukan perhitungan secara bersamaan, yang dikenal sebagai paralelisasi, memungkinkan pelatihan model yang lebih besar dan kompleks. Hal ini didukung oleh prosesor khusus seperti Graphic Processing Units (GPU) dan Tensor Procesing Units (TPU). Komputasi cloud juga memberikan dorongan signifikan pada Generative AI, memberikan kemudahan bagi peneliti untuk memanfaatkan sumber daya komputasi sesuai kebutuhan. Selain itu, perkembangan dalam mengakses dan menskalakan sumber daya komputasi sesuai kebutuhan. Selain itu, perbaikan dalam kerangka kerja perangkat lunak dan library mengoptimalkan pemanfaatan daya komputasi.
Dalam era digital saat ini, ketersediaan data mengalami lonjakan eksponensial yang signifikan. Hal ini memberikan dorongan besar bagi model Generative AI, yang sangat bergantung pada volume data untuk pelatihan yang efektif. Selain data asli, terobosan dalam pembuatan data sintetis telah memperkaya sumber daya pelatihan, memungkinkan model untuk belajar dalam lingkungan yang lebih beragam dan kompleks. Bukan hanya perusahaan teknologi raksasa, tetapi juga pemerintah di berbagai negara yang melihat potensi besar di balik Generative AI, mendorong pengembangannya demi keuntungan komersial dan kepentingan strategis. Meskipun demikian, jantung dari evolusi Generative AI bukan hanya pada ketersediaan data, tetapi terletak pada inovasi dan perbaikan berkelanjutan dalam arsitektur dan mekanisme model itu sendiri.
Generative Adversarial Networks (GAN)
Generative Adversarial Networks, atau yang lebih dikenal dengan GAN, telah menjadi salah satu pilar utama dalam dunia kecerdasan buatan sejak diperkenalkan pada tahun 2014. GAN membawa lompatan besar dalam kualitas hasil yang dihasilkan oleh teknik generatif. GAN terdiri dari dua jaringan saraf buatan yang dilatih bersamaan, yaitu jaringan generatif dan jaringan diskriminatif.
- Jaringan Generatif (Generator)
Tujuan dari jaringan generatif adalah untuk menghasilkan data. Dalam konteks gambar, misalnya, generator akan mencoba menghasilkan gambar yang tampak seperti gambar asli. Pada awal pelatihan, gambar yang dihasilkan oleh generator mungkin tampak acak atau tidak memiliki struktur. Namun, seiring berjalannya waktu dan pelatihan, generator akan menjadi semakin baik dalam menghasilkan gambar yang tampak nyata. - Jaringan Diskriminatif (Discriminator)
Jaringan diskriminatif berfungsi sebagai semacam “kritikus”. Tugasnya adalah untuk membedakan antara data asli dan data yang dihasilkan oleh generator. Dalam konteks gambar, discriminator akan menerima gambar dan mencoba memutuskan apakah gambar tersebut adalah gambar asli atau gambar palsu yang dihasilkan oleh generator.
Transformer
Transformer adalah arsitektur canggih yang dirancang khusus untuk memahami dan memproses teks dengan cara yang mendalam, mempertimbangkan konteks dan hubungan antar kata-kata dalam suatu urutan. Keunggulannya terletak pada kemampuannya untuk memahami konteks teks dengan presisi, memungkinkan pembuatan respons atau representasi yang koheren dan relevan. Salah satu fitur kunci dari Transformer adalah mekanisme “self-attention”, yang memungkinkan setiap kata dalam urutan untuk memfokuskan perhatian pada kata-kata lain dalam urutan yang sama, memberikan pemahaman kontekstual yang lebih kaya. Dengan demikian, respons atau representasi yang dihasilkan oleh Transformer tidak hanya akurat tetapi juga terasa alami dan berfluida. Keefektifan dan fleksibilitas arsitektur ini telah menjadikannya fondasi bagi sejumlah model pemrosesan bahasa alami (NLP) terdepan yang telah mengubah lanskap bidang ini, termasuk BERT, GPT, T5 dan yang lainnya.
Contoh pada kalimat “Dia pergi ke toko untuk membeli buku, tetapi toko tersebut sudah tutup”. Dalam konteks kalimat tersebut, kata “toko” muncul dua kali dengan makna yang sama tetapi dalam konteks yang sedikit berbeda. Saat memproses kata “tutup” di akhir kalimat, model Transformer dengan mekanisme self-attention-nya akan mempertimbangkan kata-kata sebelumnya, seperti “toko” dan “membeli buku”, untuk memahami dengan lebih baik bahwa subjek dari “tutup” adalah “toko”. Ini memungkinkan model untuk memahami bahwa kalimat tersebut menggambarkan situasi di mana seseorang pergi ke toko untuk tujuan membeli buku, tetapi tidak dapat melakukannya karena toko tersebut sudah tidak beroperasi lagi.
Reinforcement Learning with Human Feedback (RLHF)
Inovasi penting lainnya adalah RLHF. Teknik ini meningkatkan model dengan menerapkan umpan balik dari pengguna. Dalam RLHF, model diajarkan tidak hanya melalui metode trial-and-error tradisional tetapi juga dengan mempertimbangkan umpan balik langsung dari pengguna. Ini memungkinkan model untuk memahami dan memenuhi tujuan yang lebih kompleks dan spesifik dengan lebih efisien
Salah satu aspek kunci dari RLHF adalah integrasi respons pengguna dalam proses pelatihan. Sebagai contoh, jika sebuah model menghasilkan keluaran dan pengguna memberikan skor rendah untuk respons tersebut, model akan memahami kesalahan dan berusaha memperbaikinya dalam iterasi selanjutnya. Sebaliknya, respons dengan skor tinggi akan diperkuat, memandu model untuk menghasilkan keluaran serupa di masa depan.
Perusahaan Generative AI yang fokus pada generasi gambar yaitu Midjourney, telah memanfaatkan teknik RLHF dengan sukses. Mereka memberikan kesempatan kepada pengguna untuk menilai kualitas gambar yang dihasilkan oleh model mereka. Dengan informasi berharga ini, Midjourney dapat menyempurnakan modelnya, mengarahkannya untuk menghasilkan gambar yang lebih sesuai dengan preferensi pengguna. Keuntungan lain dari pendekatan ini adalah kemampuan untuk mengumpulkan umpan balik dalam skala besar dari produk yang tersedia untuk publik, mempercepat iterasi dan pengembangan model lebih lanjut.
Kesimpulan
Generative AI telah mengalami perkembangan pesat dan menjadi tren global pada tahun 2023, dengan berbagai produk konsumen yang diluncurkan ke pasar. Salah satu pencapaian monumental adalah ChatGPT yang mencapai 100 juta pengguna bulanan hanya dalam dua bulan, sebuah prestasi yang bahkan belum dicapai oleh platform media sosial besar seperti TikTok dan Instagram dalam waktu yang sama. Kemajuan ini didorong oleh peningkatan kapasitas komputasi, ketersediaan data pelatihan yang besar, serta inovasi dalam desain dan alat model. Dengan teknologi seperti GAN, Transformer, dan RLHF, Generative AI terus mendorong batas kemungkinan dalam bidang teknologi, memberikan solusi yang lebih akurat, alami, dan responsif kepada pengguna.
Glosari
- BERT: Salah satu model pemrosesan bahasa alami (NLP) berdasarkan arsitektur Transformer yang dirancang untuk memahami konteks kata dalam teks.
- ChatGPT: Chatbot berbasis Generative AI yang mencapai popularitas besar dengan 100 juta pengguna bulanan dalam waktu singkat.
- Discriminator (Jaringan Diskriminatif): Bagian dari GAN yang bertugas membedakan antara data asli dan data yang dihasilkan oleh generator.
- GAN (Generative Adversarial Networks): Teknik generatif yang terdiri dari dua jaringan saraf buatan (generator dan discriminator) yang dilatih bersamaan.
- Generator (Jaringan Generatif): Bagian dari GAN yang bertugas menghasilkan data, seperti gambar.
- GPU (Graphic Processing Units): Prosesor khusus yang mendukung komputasi paralel, sering digunakan dalam pelatihan model AI.
- Komputasi Cloud: Layanan yang memungkinkan peneliti untuk memanfaatkan sumber daya komputasi sesuai kebutuhan tanpa harus memiliki perangkat keras secara fisik.
- Paralelisasi: Teknik melakukan perhitungan secara bersamaan untuk meningkatkan efisiensi komputasi.
- RLHF (Reinforcement Learning with Human Feedback): Teknik pelatihan model dengan mempertimbangkan umpan balik langsung dari pengguna.
- Self-attention: Mekanisme dalam arsitektur Transformer yang memungkinkan setiap kata dalam urutan untuk memfokuskan perhatian pada kata-kata lain dalam urutan yang sama.
- T5 (Text-to-Text Transfer Transformer): Model yang dirancang oleh Google yang memperlakukan setiap tugas NLP sebagai tugas konversi teks ke teks.
- TPU (Tensor Processing Units): Prosesor khusus yang dirancang untuk mempercepat komputasi yang diperlukan untuk pelatihan model AI.
- Transformer: Arsitektur pemrosesan bahasa alami yang dirancang untuk memahami dan memproses teks dengan mempertimbangkan konteks dan hubungan antar kata-kata.
