Kong baru-baru ini merilis enam plugin AI open source dalam Kong Gateway 3.6, yang mengubah setiap penerapan Kong Gateway menjadi AI Gateway. Plugin-plugin ini kini tersedia dan dapat diakses secara gratis serta open source oleh semua orang
Dengan hanya mengupgrade Kong Gateway ke versi 3.6 (yang baru saja diumumkan), Anda akan dapat menggunakan plugin-plugin baru ini yang sepenuhnya difokuskan pada AI dan penggunaan LLM. Ini memungkinkan developer yang ingin mengintegrasikan satu atau lebih LLM ke dalam produk mereka untuk menjadi lebih produktif dan mengirimkan kemampuan AI lebih cepat, sambil menawarkan solusi kepada arsitek dan tim platform yang memastikan visibilitas, kontrol, dan kepatuhan pada setiap permintaan AI yang dikirim oleh tim. Dan karena dibangun di atas Kong Gateway, akan mungkin untuk mengorkestrasi flow AI di cloud atau pada LLM yang di-host sendiri dengan performa terbaik dan latensi terendah, yang merupakan hal penting dalam aplikasi berbasis AI.
Semua plugin Kong Gateway yang ada lebih dari 1.000 (official dan community) tersedia langsung di atas traffic AI Anda, seperti AuthN/Z, traffic control, rate-limiting, transformations, dan lainnya, menjadikan AI Gateway Kong sebagai yang paling mumpuni di seluruh ekosistem. Ini juga didukung secara native oleh platform cloud Kong, Kong Konnect, serta Kong Gateway Enterprise dan Kong Gateway OSS.
Kong AI Gateway
Apa yang bisa Anda lakukan dengan Kong AI Gateway? Dengan plugin AI baru ini, Anda dapat:
- Membangun integrasi multi-LLM. Plugin “ai-proxy” memungkinkan Anda menggunakan beberapa implementasi LLM, di cloud atau yang di-host sendiri, dengan antarmuka API yang sama. Ini dilengkapi dengan dukungan native untuk OpenAI, Azure AI, Cohere, Anthropic, Mistral, dan LLaMA, dan karena kami menstandarisasi cara penggunaannya, Anda juga dapat dengan mudah beralih antar LLM dengan “memutar tombol” tanpa harus mengubah kode aplikasi Anda. Ini sangat baik untuk menggunakan beberapa model khusus dalam aplikasi Anda dan untuk prototyping.
- Mengelola kredensial AI secara terpusat. Dengan “ai-proxy” Anda juga dapat menyimpan semua kredensial AI, termasuk token dan API keys, di Kong Gateway tanpa harus menyimpannya di aplikasi Anda, sehingga Anda dapat dengan mudah memperbarui dan merotasi mereka secara langsung dan di satu tempat terpusat tanpa harus memperbarui kode Anda.
- Mengumpulkan metrik AI L7. Dengan menggunakan plugin “ai-proxy” baru, Anda sekarang dapat mengumpulkan analitik L7 seperti jumlah token request dan response atau penyedia LLM dan model yang digunakan — ke pihak ketiga seperti Datadog, New Relic, atau plugin logging apa pun yang sudah didukung Kong Gateway (seperti TCP, Syslog, dan Prometheus). Dengan melakukan ini, Anda tidak hanya mempermudah pemantauan traffic AI oleh aplikasi, tetapi Anda juga mendapatkan insights tentang teknologi LLM mana yang paling umum digunakan oleh developer di organisasi. Metrik observability AI L7 adalah tambahan untuk semua metrik request dan response lainnya yang sudah dikumpulkan oleh Kong Gateway.
- Integrasi AI tanpa kode. Anda dapat memaksimalkan potensi AI dalam aplikasi Anda tanpa perlu menulis satu baris kode pun dengan menggunakan plugin ‘ai-request-transformer’ dan ‘ai-response-transformer’ yang baru. Plugin ini akan mengintersepsi setiap API request dan response, dan sekaligus meningkatkannya dengan prompt AI yang telah Anda konfigurasikan. Sebagai contoh, Anda dapat secara instan menerjemahkan respons API yang ada untuk keperluan internasionalisasi, tanpa perlu mengubah API itu sendiri atau aplikasi klien. Anda juga dapat memperkaya, mengubah, dan mengonversi seluruh traffic API yang ada tanpa perlu usaha ekstra. Kemungkinannya sangat luas. Bahkan, Anda dapat memperkaya permintaan AI yang ditujukan ke penyedia LLM (Large Language Models) tertentu dengan mengintegrasikannya dengan penyedia LLM lain, sehingga permintaan dapat diperbarui secara langsung sebelum dikirim ke tujuan akhirnya.
- Advanced AI prompt engineering. Kami mengirimkan tiga plugin baru yang sepenuhnya difokuskan pada advanced prompt engineering untuk secara mendasar menyederhanakan dan meningkatkan cara Anda menggunakan AI di aplikasi Anda. Dengan “ai-prompt-template” kami memperkenalkan cara mudah untuk membuat prompt templates yang dapat dikelola secara terpusat di Kong Gateway dan digunakan secara instan oleh aplikasi dengan hanya mengirimkan named values untuk digunakan dalam template Anda. Dengan cara ini, Anda dapat memperbarui prompt Anda di kemudian hari tanpa harus memperbarui aplikasi Anda, atau bahkan menegakkan proses kepatuhan untuk menambahkan template baru yang disetujui ke dalam sistem.
- Mendekorasi prompt AI Anda. Sebagian besar prompt AI yang Anda hasilkan juga menetapkan konteks untuk apa yang harus atau tidak harus dilakukan oleh AI dan menentukan aturan untuk menginterpretasikan request dan response. Daripada mengatur konteks setiap kali, Anda dapat mengonfigurasinya secara terpusat menggunakan plugin “ai-prompt-decorator” yang akan di awal atau di akhir konteks Anda secara instan pada setiap AI request. Ini juga berguna untuk memastikan kepatuhan di organisasi dengan menginstruksikan AI untuk tidak pernah mendiskusikan, misalnya topik yang restruktif dan lainnya.
- AI prompt firewall, Kemampuan ini lebih ditujukan kepada tim dan organisasi yang ingin memastikan bahwa prompt telah disetujui dan bahwa seseorang secara tidak sengaja menggunakan prompt yang salah di aplikasi mereka. Dengan plugin “ai-prompt-guard” kita dapat menetapkan daftar aturan untuk menolak atau mengizinkan prompt free-form yang dihasilkan oleh aplikasi dan yang diterima oleh Kong Gateway sebelum dikirim ke penyedia LLM.
- Menciptakan AI egress dengan lebih dari 1.000 fitur. Dengan memanfaatkan kemampuan AI baru ini di Kong Gateway, Anda dapat memusatkan cara Anda mengelola, mengamankan, dan mengobservasi seluruh traffic AI Anda dari satu tempat. Anda juga dapat menggunakan semua plugin resmi dan komunitas yang sudah ada lebih dari 1.000 dari Kong Gateway untuk lebih mengamankan cara akses egress AI Anda oleh developer lain (AuthN/Z, mTLS, dll.), menambahkan rate-limiting, memperkenalkan consumption tiers, atau mengembangkan aturan kontrol traffic yang canggih antara satu penyedia AI ke penyedia lain.
Setiap AI egress di Kong Gateway hanyalah layanan seperti layanan lainnya,yang berarti semua fitur dan plugin dari Kong Gateway tersedia sejak awal rilisnya. Hal ini menjadikan AI Gateway Kong sebagai salah satu yang paling mumpuni dalam ekosistem AI. Selain itu, Developer Portal dan Service Catalog dari Kong Konnect juga mendukung integrasi ini.
Kesimpulan
Kong Gateway 3.6 menandai sebuah terobosan dalam ekosistem AI dengan peluncuran enam plugin AI open source yang mengubah Kong Gateway menjadi AI Gateway yang canggih. Fitur-fitur ini memungkinkan integrasi AI tanpa kode, mempermudah pengelolaan dan rotasi kredensial AI, dan menyediakan metrik observability AI L7 yang mendetail. Dengan dukungan terhadap integrasi multi-LLM, pengaturan prompt AI yang fleksibel, dan firewall prompt AI, Kong Gateway menawarkan sebuah platform yang aman, efisien, dan mudah digunakan untuk semua kebutuhan AI. Keunggulan Kong Gateway diperkuat oleh kompatibilitasnya dengan lebih dari 1.000 plugin lainnya, memberikan keamanan, visibilitas, dan kontrol yang tak tertandingi atas traffic AI. Integrasi dengan Developer Portal dan Service Catalog Kong Konnect lebih menambah kemudahan dan efisiensi dalam penggunaan AI.
Glosarium
- AI Gateway: Sebuah gateway yang khusus dioptimalkan untuk mengelola dan memproses request dan response yang berkaitan dengan AI.
- LLM (Large Language Models): Model bahasa berukuran besar yang digunakan untuk memproses dan menghasilkan teks berbasis AI.
- Plugin AI: Ekstensi atau add-on yang digunakan untuk menambahkan fungsionalitas AI ke dalam sistem atau aplikasi.
- ai-proxy: Plugin yang memungkinkan integrasi multipel LLM dengan antarmuka API yang seragam.
- OpenAI, Azure AI, Cohere, Anthropic, Mistral, LLaMA: Beberapa contoh penyedia LLM yang populer.
- ai-prompt-template: Plugin yang memudahkan pembuatan dan pengelolaan template prompt AI.
- ai-prompt-decorator: Plugin yang digunakan untuk menambahkan konteks sebelum atau setelah prompt AI pada request.
- ai-prompt-guard: Sebuah plugin yang berfungsi sebagai firewall untuk prompt AI, mengontrol prompt yang diizinkan atau ditolak.
- Egress AI: Proses keluar (output) data AI dari satu sistem ke sistem lain.
- AuthN/Z: Autentikasi dan Otorisasi; proses verifikasi identitas pengguna dan pemberian akses kepada mereka.
- mTLS (Mutual Transport Layer Security): Protokol keamanan untuk komunikasi yang aman antara dua pihak.
- Rate-limiting: Pembatasan jumlah request yang diperbolehkan dalam jangka waktu tertentu untuk mencegah overloading.
- Kong Konnect: Platform yang menyediakan integrasi cloud untuk Kong Gateway.
- Service Catalog: Daftar layanan yang tersedia dalam suatu platform atau aplikasi.
- Developer Portal: Portal untuk pengembang yang menyediakan sumber daya, dokumentasi, dan alat bantu pengembangan.
