Red Hat, Inc., Perusahaan global penyedia solusi open source, Red Hat Inc., hari ini (15/5/2024) mengumumkan peningkatan pada Red Hat OpenShift AI, platform open hybrid artificial intelligence (AI) dan machine learning (ML) yang dikembangkan di Red Hat OpenShift, supaya enterprise dapat merancang dan menghadirkan pengembangan aplikasi AI di seluruh hybrid cloud.
Pembaruan ini menyoroti visi Red Hat untuk AI, membawa komitmen Red Hat untuk pilihan pelanggan ke dunia beban kerja cerdas, dari hardware mendasar hingga ke layanan dan tools, seperti Jupyter dan PyTorch yang digunakan untuk mengembangkan platform tersebut. Peningkatkan ini akan memungkinkan inovasi yang lebih cepat, meningkatkan produktivitas dan kapasitas untuk menyertakan AI ke dalam operasional bisnis sehari-hari melalui platform yang lebih fleksibel, skalabel dan bisa beradaptasi, yang mendukung model prediktif maupun generatif, dengan atau tanpa menggunakan lingkungan cloud.
Pelanggan menghadapi banyak tantangan saat memindahkan model AI dari fase eksperimen ke fase produksi, di antaranya adalah adanya peningkatan biaya hardware, kekhawatiran mengenai privasi data, dan kekurangpercayaan untuk berbagi data dengan model berbasis SaaS. AI generatif (GenAI) berubah dengan cepat, dan banyak perusahaan kesulitan untuk membangun core AI platform yang bisa diandalkan dan bisa berjalan di on-premise atau di cloud.
Menurut IDC, agar berhasil memanfaatkan AI, enterprise harus memodernisasi banyak aplikasi yang sudah ada dan lingkungan data mereka, menghilangkan penghalang antara sistem yang sudah ada dan platform penyimpanan, meningkatkan keberlanjutan infrastruktur dan berhati-hati dalam memilih tempat menjalankan beban kerja yang berbeda di cloud, pusat data, dan edge. Bagi Red Hat, ini menunjukkan bahwa platform AI harus fleksibel untuk mendukung enterprise saat mereka bergerak maju dalam pengadopsian AI, kebutuhan, dan adaptasi sumber daya mereka.
Ashesh Badani, chief product officer and senior vice president, Red Hat, “Membawa AI ke dalam enterprise bukan lagi ‘jika,’ ini adalah persoalan ‘kapan.’ Enterprise butuh platform AI yang lebih unggul, konsisten dan fleksibel untuk meningkatkan produktivitas, meningkatkan pendapatan, dan mendukung diferensiasi pasar. Jawaban Red Hat terhadap permintaan enterprise AI dalam skala besar adalah Red Hat OpenShift AI, yang memungkinkan pemimpin IT menjalankan aplikasi cerdas di manapun di seluruh hybrid cloud sekaligus menumbuhkan dan menyempurnakan operasional dan model yang dibutuhkan untuk mendukung terwujudnya aplikasi produksi dan layanan.”
Turut memberikan pernyataan, Thomas Taroni, CEO, Phoenix Technologies, mengatakan “Visi Red Hat untuk AI selaras sempurna dengan target kami untuk menyediakan solusi AI yang unggul dan berdaulat bagi perusahaan. Dengan Red Hat OpenShift AI, pelanggan kvant AI kami mendapatkan manfaat dari fleksibilitas, skalabilitas dan keamanan yang tak tertandingi. Dengan kombinasi kvant AI dan Red Hat OpenShift AI, perusahaan akan dilengkapi secara sempurna untuk mengintegrasikan model prediktif dan generatif, tanpa harus bersusah payah, sehingga memberdayakan siapa saja untuk membuat aplikasi AI dengan percaya diri dan kelincahan.”
Strategi AI Red Hat memungkinkan fleksibilitas di seluruh hybrid cloud, menyediakan kemampuan untuk meningkatkan foundation model yang pre-trained atau sudah dikurasi dengan data pelanggan mereka dan kebebasan untuk mendukung berbagai akselerator hardware maupun software. Fitur-fitur Red Hat OpenShift AI yang baru dan sudah ditingkatkan itu dapat memenuhi kebutuhan-kebutuhan tadi berkat adanya akses ke inovasi AI/ML terbaru dan dukungan dari ekosistem mitra yang ekspansif dan AI sentris. Versi terbaru platform Red Hat OpenShift AI 2.9 menyajikan:
- Model serving di edge memperluas penerapan model AI ke lokasi terpencil menggunakan OpenShift node tunggal. Ia memberikan kemampuan inferensi di lingkungan yang sumber dayanya terbatas dengan akses air-gapped network. Fitur pratinjau teknologi ini memberikan perusahaan pengalaman operasional yang skalabel dan konsisten mulai dari core hingga ke cloud dan ke edge serta mencakup kemampuan observasi yang luar biasa.
- Model serving yang ditingkatkan dengan kemampuan untuk menggunakan beberapa server model untuk mendukung AI prediktif dan GenAI, termasuk dukungan untuk KServe, sebuah definisi sumber daya khusus Kubernetes yang mengatur serving untuk semua jenis model, vLLM dan text generation inference server (TGIS), mesin serving untuk LLM dan runtime Caikit-nlp-tgis, yang menangani natural language processing (NLP). Peningkatan pada model serving akan memungkinkan pengguna menjalankan AI prediktif dan GenAI pada satu platform untuk beberapa penggunaan, sehingga mengurangi biaya dan menyederhanakan pengoperasian. Hal ini memungkinkan model serving yang luar biasa untuk LLM dan menyederhanakan alur kerja pengguna di sekitarnya.
- Mendistribusikan beban kerja dengan Ray, menggunakan CodeFlare dan KubeRay, yang memanfaatkan beberapa cluster node untuk pemrosesan data dan pelatihan model yang lebih cepat dan efisien. Ray adalah kerangka kerja untuk mempercepat beban kerja AI, dan KubeRay membantu mengelola beban kerja ini di Kubernetes. CodeFlare merupakan pusat dari kemampuan beban kerja terdistribusi Red Hat OpenShift AI, yang menyediakan kerangka kerja yang mudah digunakan pengguna dan membantu memudahkan orkestrasi dan pemantauan tugas. Kemampuan antrean dan manajemen terpusat memungkinkan pemanfaatan node secara optimal, dan memungkinkan pengalokasian sumber daya, seperti GPU, untuk pengguna dan beban kerja yang tepat.
- Pengembangan model yang lebih baik melalui ruang kerja proyek dan gambar workbench tambahan yang memberikan fleksibilitas kepada para data scientist untuk menggunakan IDE dan toolkit, termasuk VS Code dan RStudio, yang saat ini tersedia sebagai pratinjau teknologi, dan CUDA yang disempurnakan, untuk berbagai kasus penggunaan dan jenis model.
- Visualisasi model monitoring untuk metrik kinerja dan operasional, meningkatkan kemampuan observasi terhadap kinerja model AI.
- Profil akselerator terbaru yang memungkinkan administrator mengonfigurasi berbagai jenis akselerator hardware yang tersedia untuk pengembangan model dan alur kerja model-serving. Hal ini memberikan akses pengguna yang mandiri dan simpel ke jenis akselerator yang tepat untuk beban kerja tertentu.
Selain Red Hat OpenShift AI yang menjadi landasan watsonx.ai dari IBM, enterprise di berbagai industri juga dapat memperlengkapi diri mereka dengan Red Hat OpenShift AI untuk mendorong lebih banyak inovasi dan pertumbuhan AI, termasuk AGESIC dan Ortec Finance.
Cloud bersifat hybrid. Begitu juga AI
Selama lebih dari 30 tahun, teknologi open source telah menyandingkan inovasi yang pesat dengan biaya IT yang jauh lebih rendah dan mengurangi penghambat dalam inovasi. Red Hat sudah menjadi yang terdepan dalam upaya ini sejak lama, mulai dari menyediakan platform Linux open enterprise dengan RHEL pada awal tahun 2000an hingga mendorong container dan Kubernetes sebagai fondasi untuk open hybrid cloud dan komputasi cloud-native dengan Red Hat OpenShift.
Dorongan ini berlanjut dengan strategi Red Hat yang mendukung AI/ML di seluruh open hybrid cloud, memungkinkan beban kerja AI berjalan di mana data berada, baik di pusat data, beberapa public cloud atau di edge. Lebih dari sekadar beban kerja, visi Red Hat untuk AI membawa pelatihan model dan tuning down di jalur yang sama untuk mengatasi keterbatasan seputar kedaulatan data, kepatuhan dan integritas operasional dengan lebih baik. Konsistensi platform Red Hat di seluruh lingkungan ini, di manapun mereka berjalan, sangat penting dalam menjaga inovasi AI tetap mengalir.
