Oleh: Chris Wright, Senior Vice President dan Chief Technology Officer (CTO), Red Hat
Beban kerja apa pun, aplikasi apa pun, dan di mana pun, adalah mantra di Red Hat Summit 2023. Selama dua tahun terakhir kita sudah melihat beberapa perubahan dalam IT. Namun visi Red Hat belum berubah; visi ini justru berkembang.
Model apa pun. Akselerator apa pun. Cloud apa pun.
Itulah pesan yang dibawa oleh hybrid cloud untuk era AI. Apa bagian terbaiknya? Sama seperti hybrid cloud yang ‘lama’, semuanya ditenagai oleh inovasi open source. Di Red Hat Summit tahun ini, kami menunjukkan bagaimana ekosistem AI yang dibangun dengan prinsip open source dan open model bisa menciptakan opsi baru bagi enterprise. Keterbukaan memberikan pilihan, dan pilihan membawa fleksibilitas yang lebih besar, mulai dari model terbaik yang memenuhi kebutuhan perusahaan, ke akselerator yang mendasarinya, dan hingga ke mana beban kerja sebenarnya berjalan. Strategi AI yang sukses akan mengikuti data di mana pun ia berada di hybrid cloud.
Dan apa yang menggerakkan hybrid cloud? Open source.
Inferensi membuat AI jadi lebih baik
Bagi saya, kita harus mulai melihat lebih dari model. Ya, model sangat penting bagi strategi AI. Namun tanpa inferensi, pada fase “doing” AI, model hanyalah kumpulan data yang tidak ‘do’ apapun atau tidak melakukan apapun. Inferensi adalah seberapa cepat satu model merespons input dari pengguna dan seberapa efisien keputusan bisa dibuat dengan sumber daya komputasi yang dipercepat – respon yang lambat dan efisiensi yang buruk pada akhirnya menghabiskan biaya dan mencederai kepercayaan pelanggan.
Inilah sebabnya mengapa saya sangat antusias saat Red Hat menjadikan inferensi sebagai fokus utama dalam pekerjaan kami dengan AI open source, dimulai dengan peluncuran Red Hat AI Inference Server. Dikembangkan pada proyek vLLM open source terdepan dan ditingkatkan dengan teknologi-teknologi dari Neural Magic, Red Hat AI Inference Server mewujudkan server inferensi yang disupport sepenuhnya, di-lifecycle, dan siap produksi untuk penggunaan AI. Bagian terbaiknya adalah, ia bisa mengikuti data Anda, di mana pun data tersebut berada, di platform Linux apa pun, di distribusi Kubernetes apa pun, Red Hat atau yang lainnya, dan akan bekerja dengan solusi tersebut.
Apa yang lebih baik dari AI enterprise? AI enterprise dalam skala besar.
Pengaplikasian terbaik untuk IT enterprise bukanlah beban kerja tunggal dan terpadu atau layanan cloud baru: Ia adalah kemampuan untuk melakukan penskalaan atau pengembangan dengan cepat dan efisien. Hal ini juga berlaku dalam konteks AI. Namun AI memiliki tantangan uniknya sendiri yaitu sumber daya komputasi yang dipercepat, yang mendasari beban kerja AI, juga harus bisa diskalakan. Ini bukan perkara sederhana, mengingat tingginya biaya dan keahlian yang diperlukan untuk mengimplementasikan hardware tersebut secara optimal.
Apa yang kita butuhkan bukan hanya kemampuan untuk menskalakan AI, namun juga mendistribusikan beban kerja AI yang masif ke sejumlah cluster komputasi terakselerasi. Masalahnya makin rumit karena reasoning model dan agentic AI juga memerlukan penskalaan waktu inferensi. Solusinya? Beban harus dibagi agar performa tidak tersendat, efisiensi meningkat, dan pengalaman pengguna tetap optimal. Red Hat mencoba menjawab tantangan ini lewat proyek open source bernama proyek llm-d.
Dipimpin oleh Red Hat dan didukung oleh para pemimpin industri AI di bidang akselerasi hardware, pengembangan model dan komputasi cloud, llm-d menggabungkan kekuatan orkestrasi Kubernetes yang telah terbukti dengan vLLM, menyatukan dua pilar open source untuk menjawab kebutuhan yang sangat nyata. Bersama teknologi seperti AI-aware network routing, KV cache offloading, dan lainnya, llm-d mendesentralisasi sekaligus mendemokratisasi proses inferensi AI, untuk membantu organisasi memaksimalkan sumber daya komputasi mereka dengan beban kerja yang lebih hemat biaya dan lebih efektif.
Open (source) dan apa selanjutnya dari AI
Llm-d dan vLLM – yang dihadirkan melalui Red Hat AI Inference Server – adalah teknologi open source yang siap menjawab tantangan AI enterprise saat ini. Namun komunitas tidak hanya berfokus pada kebutuhan jangka pendek. Di dunia AI, waktu seolah dipercepat. Laju inovasi yang sangat cepat membuat tantangan yang awalnya diperkirakan baru akan muncul beberapa tahun ke depan, kini harus dihadapi segera.
Inilah alasan mengapa Red Hat mengalokasikan sumber dayanya untuk terlibat langsung dalam pengembangan Llama Stack, proyek yang dipimpin oleh Meta untuk menghadirkan komponen dasar dan API terstandarisasi untuk lifecycle aplikasi gen AI. Lebih dari itu, Llama Stack sangat cocok digunakan dalam pengembangan aplikasi agentic AI, yang merupakan evolusi lanjutan dari beban kerja gen AI yang sudah kita kenal saat ini. Tidak hanya di level upstream (kode sumber utama), kami juga menghadirkan Llama Stack dalam versi pratinjau pengembang melalui Red Hat AI, untuk organisasi yang ingin menyongsong masa depan mulai sekarang.
Dalam pengembangan AI agent saat ini, kita masih belum memiliki protokol standar bagaimana aplikasi-aplikasi lain dapat memberikan konteks dan informasi kepada agen-agen AI tersebut. Di sinilah peran model context protocol (MCP) menjadi penting. Dikembangkan dan dibuka sebagai open source oleh Anthropic pada akhir 2024, MCP menawarkan protokol standar untuk interaksi antara AI agent dan aplikasi, mirip seperti protokol client-server dalam komputasi tradisional. Tapi yang menarik adalah MCP memungkinkan aplikasi yang sudah ada untuk langsung memiliki kemampuan AI tanpa perlu pengembangan ulang secara besar-besaran. Ini merupakan lompatan besar dan semua ini dimungkinkan berkat kekuatan open source. Seperti Llama Stack, MCP juga tersedia dalam versi pratinjau pengembang di platform Red Hat AI.
Model AI proprietary (tertutup) mungkin sempat memimpin di awal, tetapi kini ekosistem open source jelas mengambil alih, terutama dalam hal software yang menopang model-model AI generasi terbaru. Berkat inovasi seperti vLLM dan llm-d, serta produk open source yang telah diperkuat untuk kebutuhan enterprise, masa depan AI terlihat cerah, apa pun modelnya, akselerator atau cloud-nya. Dan semua itu didorong oleh kekuatan open source dan Red Hat.
