Perusahaan penyedia solusi open source, Red Hat, baru-baru ini mengumumkan langkah inovatif yang signifikan pada portofolio Red Hat AI untuk membantu menjembatani kesenjangan antara eksperimen AI dan kendali operasional di tingkat produksi.
Dengan menghadirkan platform terpadu dari level hardware hingga agen, Red Hat AI 3.4 menyederhanakan pengembangan dan penerapan alur kerja agentic, memungkinkan organisasi beralih dari proyek percontohan menuju implementasi AI yang terskalakan di seluruh infrastruktur mereka.
Melalui penyediaan kerangka kerja yang konsisten bagi para pengembang maupun operator, Red Hat menghadirkan fondasi yang memungkinkan organisasi menskalakan sistem otonom mereka dengan tetap mempertahankan kendali, kapabilitas keamanan, dan efisiensi hardware yang dibutuhkan oleh enterprise modern.
Apa itu Red Hat AI 3.4?
Red Hat AI 3.4 merupakan platform komprehensif yang menyediakan fondasi arsitektural dan instrumen operasional yang esensial untuk menskalakan model serta alur kerja agentic di seluruh lingkungan hybrid cloud. Inti dari rilis ini adalah penyediaan Model-as-a-Service (MaaS), yang menawarkan interface tunggal dan terkelola bagi para pengembang untuk mengakses model-model yang telah terkurasi, sekaligus memungkinkan administrator melacak konsumsi data dan menegakkan kebijakan tata kelola. Kapabilitas ini dibangun di atas fondasi inferensi terdistribusi berkinerja tinggi yang ditenagai oleh vLLM dan llm-d, guna mempertahankan model serving yang optimal dan efisien di berbagai lingkungan.
Ketika agen AI memicu lonjakan permintaan inferensi secara eksponensial, Red Hat AI membekali organisasi dengan kapabilitas untuk menerapkan dan mengelola agen-agen tersebut dalam skala besar, terlepas dari framework agen yang digunakan. Perangkat AgentOps yang baru diperkenalkan ini mengelola siklus hidup agen dari tahap pengembangan hingga produksi dengan kemampuan tracing terintegrasi, observability, identitas kriptografis, dan manajemen siklus hidup.
Untuk mengintegrasikan data perusahaan dengan model dan agen, Red Hat AI 3.4 memperkenalkan prompt management—yang memperlakukan prompt sebagai aset data utama—serta evaluation hub untuk menilai akurasi, kualitas, dan keamanan model maupun agen.
Kapabilitas ini didukung oleh MLflow, yang menyediakan pelacakan eksperimen terintegrasi dan manajemen artefak untuk skenario pemanfaatan AI generatif maupun AI prediktif. Platform ini memungkinkan pengguna memvalidasi keamanan model dan agen melalui pengujian keamanan otomatis dan red-teaming untuk model maupun agen, menggunakan teknologi dari Chatterbox Labs dan proyek Garak untuk menyediakan jalur yang aman dari uji coba eksperimental menuju pemanfaatan enterprise yang siap produksi.
Mengapa Red Hat AI 3.4 penting?
Transisi dari chatbot eksperimental menuju sistem otonom di tingkat produksi memerlukan perubahan mendasar dalam cara tim IT berkolaborasi. Banyak organisasi kini menyadari perlunya bertransformasi dari sekadar “konsumen token” menjadi “penyedia token” guna mengelola biaya dengan lebih baik serta memperkuat skenario penggunaan AI yang privat dan berdaulat.
Namun, kesenjangan antara para pengembang infrastruktur dan administrator infrastruktur tetap menjadi salah satu hambatan utama dalam adopsi AI. Tanpa pendekatan terpadu yang menyelaraskan kedua peran tersebut, hambatan akses terhadap infrastruktur akan memperlambat inovasi, sementara jalan pintas melalui “shadow AI” berisiko memunculkan ancaman yang tidak terkelola dan biaya yang tidak dapat diprediksi.
Red Hat AI 3.4 membantu menjembatani kesenjangan ini dengan menyediakan fondasi enterprise untuk inferensi yang terskala dan penerapan agen otonom, sekaligus menghadirkan transparansi dan kendali yang diperlukan untuk memenuhi standar risiko dan tata kelola yang ketat. Mengingat agen-agen AI beroperasi dengan tingkat independensi tertentu, kurangnya visibilitas terhadap proses pengambilan keputusan mereka dapat menimbulkan risiko keamanan yang besar. Red Hat AI menjawab tantangan ini dengan menyediakan infrastruktur untuk menelusuri tindakan, tahapan penalaran, dan tool calls, sehingga memungkinkan organisasi mengaudit bagaimana suatu agen mencapai suatu hasil akhir.
Melalui integrasi manajemen identitas kriptografis, platform ini mengaitkan setiap tindakan dengan identitas yang telah terverifikasi, sehingga membantu mengidentifikasi entitas mana yang melakukan tugas tersebut. Secara keseluruhan, kapabilitas ini membawa organisasi melampaui proyek-proyek percontohan yang terisolasi, guna memperlakukan AI sebagai utilitas enterprise yang terskala, dapat diprediksi, dan yang paling penting, dapat dipertanggungjawabkan.
“Era agentic merepresentasikan evolusi platform kami, dari yang sebelumnya menjalankan aplikasi tradisional menjadi penggerak sistem otonom yang cerdas,” ujar Joe Fernandes, Vice President dan General Manager, AI Business Unit, Red Hat.
“Kami mendefinisikan standar terbuka tentang bagaimana enterprise mengeksekusi AI. Dengan menyediakan fondasi yang diperkuat dari level perangkat keras hingga agen untuk inferensi AI, MaaS, dan AgentOps, Red Hat memberikan kepastian operasional yang dibutuhkan organisasi untuk berinovasi dalam skala besar sembari mempertahankan kendali yang ketat,” lanjut Joe Fernandes,
Turut memberikan komentarnya Urvashi Chowdhary, Vice President of Product Management – AI Services di CoreWeave, mengatakan kolaborasi CoreWeave dengan Red Hat didasarkan pada komitmen bersama terhadap keterbukaan dan penyediaan fondasi inferensi berkinerja tinggi yang memungkinkan enterprise menskalakan beban kerja AI yang paling kompleks,
“Bersama-sama, kami telah menghadirkan cetak biru penerapan Red Hat AI Inference di CoreWeave Kubernetes Service agar dapat menjalankan stack inferensi yang sama secara on-prem maupun di cloud, dengan kendali native Kubernetes dan performa tingkat produksi. Hal ini memungkinkan tim AI enterprise di industri yang diawasi ketat regulasi untuk fokus pada tugas utama yang penting: membangun dan menskalakan AI, bukan merombak berbagai teknologi mereka untuk setiap lingkungan baru,” sambung Urvashi.
Sementara itu, John Fanelli, Vice President, Enterprise Software, NVIDIA, mengatakan “Agent otonom yang beroperasi dalam durasi panjang di lingkungan enterprise menuntut tingkat kendali infrastruktur dan keamanan yang baru untuk memastikan operasional yang dapat dipercaya dalam skala besar.”
“Red Hat AI Factory dengan NVIDIA menyediakan fondasi terpadu berbasis open source yang memberikan tata kelola dan rasa percaya diri yang dibutuhkan developer dan operator dalam menyambut masa depan agentic,” tandas Fanelli.
