Red Hat, Inc., mengumumkan pembaruan terkini pada Red Hat AI, portofolio produk dan layanan yang didesain untuk membantu mempercepat pengembangan dan penerapan solusi AI di seluruh hybrid cloud. Red Hat AI menyediakan platform enterprise AI untuk pelatihan model dan inferensi dengan efisiensi yang lebih baik, penggunaan yang lebih simpel dan fleksibilitas untuk menjalankannya di mana pun di lingkungan hybrid cloud.
Bahkan ketika perusahaan mencari cara untuk mengurangi biaya penerapan large language models (LLMs) dalam skala besar untuk menangani berbagai use case yang semakin banyak, mereka masih dihadapkan pada tantangan untuk mengintegrasikan model-model tersebut dengan data mereka, yang mendorong use case tersebut, sekaligus dapat mengakses data tersebut di mana pun data itu berada, baik itu di pusat data, di public cloud atau bahkan di edge.
Meliputi Red Hat OpenShift AI dan Red Hat Enterprise Linux AI (RHEL AI), Red Hat AI mengatasi tantangan tersebut dengan menyediakan platform enterprise AI yang memungkinkan pengguna mengadopsi model yang lebih efisien dan lebih optimal, disesuaikan dengan data yang spesifik untuk bisnisnya dan bisa digunakan di seluruh hybrid cloud untuk pelatihan dan inferensi pada berbagai arsitektur komputasi yang terakselerasi.
“Red Hat menyadari bahwa perusahaan akan membutuhkan cara untuk mengelola biaya yang meningkat dari penerapan AI generatif mereka, seiring dengan semakin banyaknya use case yang mereka hadirkan ke dalam produksi dan berjalan dalam skala besar. Mereka juga perlu mengatasi tantangan dalam mengintegrasikan model-model AI dengan data privat di perusahaan dan mampu menerapkan model-model tersebut di mana pun data mereka berada. Red Hat membantu perusahaan mengatasi tantangan tersebut dengan memungkinkan mereka memanfaatkan model-model yang lebih efisien, yang dibuat khusus dan dilatih dengan data mereka, dan memungkinkan inferensi yang fleksibel di lingkungan on-premise, di cloud, maupun di edge,” ujar Joe Fernandes, vice president dan general manager, AI Business Unit, Red Hat.
Red Hat OpenShift AI
Red Hat OpenShift AI menyediakan platform AI yang lengkap untuk mengelola siklus hidup AI prediktif dan generatif (gen AI) di seluruh hybrid cloud, termasuk kemampuan machine learning operations (MLOps) dan LLMOps. Platform ini punya fungsi untuk mengembangkan model prediktif dan menyetel model gen AI, bersama dengan tool untuk menyederhanakan pengelolaan model AI, mulai dari data science dan model pipeline serta model monitoring, hingga tata kelola dan banyak lagi.
Red Hat OpenShift AI 2.18, rilis terbaru dari platform ini, menambahkan beberapa pembaruan dan kemampuan terbaru untuk mendukung target Red Hat AI membawa model AI yang lebih optimal dan lebih efisien ke hybrid cloud. Fitur-fitur utamanya meliputi:
- Penyajian terdistribusi (distributed serving): Dikirimkan melalui server inferensi vLLM, penyajian terdistribusi memungkinkan tim IT untuk membagi penyajian model (model serving) di beberapa unit pemrosesan grafis (GPUs). Hal ini membantu mengurangi beban pada satu server, mempercepat pelatihan dan penyempurnaan, serta memanfaatkan sumber daya komputasi dengan lebih efisien, sekaligus membantu mendistribusikan layanan di node untuk model AI.
- Penyetelan model menyeluruh: Dengan menggunakan InstructLab dan pipeline data science dari Red Hat OpenShift AI, fitur baru ini membantu menyederhanakan penyetelan LLM, menjadikannya lebih scalable, efisien dan bisa diaudit dalam lingkungan produksi yang besar, serta pengelolaan melalui dashboard Red Hat OpenShift AI.
- AI Guardrails: Red Hat OpenShift AI 2.18 membantu meningkatkan akurasi, performa, latensi dan transparansi LLM melalui pratinjau teknologi AI Guardrails untuk memonitor dan melindungi interaksi input pengguna dan output model dengan lebih baik. AI Guardrails menawarkan titik pendeteksian tambahan dalam membantu tim IT mengidentifikasi dan mitigasi potensi kata-kata yang penuh kebencian, melecehkan, atau tidak senonoh, informasi personal, informasi kompetitif atau data lain yang dibatasi oleh kebijakan perusahaan.
- Evaluasi model: dengan menggunakan komponen language model evaluation (lm-eval) untuk memberikan informasi penting mengenai kualitas keseluruhan model, evaluasi model memungkinkan data scientist untuk membandingkan performa LLM mereka di berbagai tugas yang berbeda, mulai dari penalaran logis dan matematis, hingga ke adversarial natural language dan banyak lagi, yang pada akhirnya membantu menciptakan model AI yang lebih efektif, responsif dan sesuai kebutuhan.
RHEL AI
Sebagai bagian dari portofolio Red Hat AI, RHEL AI merupakan platform model dasar untuk mengembangkan, menguji, dan menjalankan LLM secara lebih konsisten, untuk mendukung aplikasi enterprise. RHEL AI memberikan tool penyelarasan model Granite LLMs dan InstructLab, yang dikemas dalam bentuk image server Red Hat Enterprise Linux yang bisa di-boot dan bisa digunakan di seluruh hybrid cloud.
Diluncurkan pada Februari 2025, RHEL 1.4 telah menambahkan sejumlah peningkatan, di antaranya:
- Dukungan model Granite 3.1 8B untuk penambahan terbaru pada rangkaian model Granite berlisensi open-source. Model ini menambahkan dukungan multibahasa untuk inferensi dan penyesuaian taksonomi/pengetahuan (pratinjau pengembang) bersama dengan context window 128k untuk meningkatkan hasil perangkuman dan tugas-tugas retrieval-augmented generation (RAG).
- Antarmuka pengguna grafis baru untuk kontribusi keterampilan dan pengetahuan, tersedia sebagai pratinjau pengembang, untuk menyederhanakan konsumsi data dan pemecahan data, serta bagaimana cara pengguna menambahkan keterampilan dan kontribusi mereka sendiri ke model AI.
- Document Knowledge-bench (DK-bench) untuk memudahkan perbandingan model AI yang sudah disetel dengan baik pada data pribadi yang relevan dengan kinerja model dasar yang tidak disetel.
Red Hat AI InstructLab di IBM Cloud
Semakin banyak perusahaan yang mencari solusi AI yang memprioritaskan akurasi dan keamanan data, sekaligus menjaga biaya dan kerumitan serendah mungkin. Red Hat AI InstructLab yang digunakan sebagai layanan di IBM Cloud dirancang untuk menyederhanakan, menskalakan, dan membantu meningkatkan jejak keamanan untuk pelatihan dan penerapan model AI. Dengan menyederhanakan penyetelan model InstructLab, organisasi bisa membangun model yang lebih efisien yang disesuaikan dengan kebutuhan unik organisasi dan tetap memegang kendali atas data mereka.
Pelatihan AI Foundation Tanpa Biaya
AI adalah peluang transformatif yang mendefinisikan kembali cara perusahaan beroperasi dan bersaing. Untuk mendukung organisasi di lanskap yang dinamis ini, Red Hat kini menawarkan kelas pelatihan online AI Foundations tanpa biaya. Red Hat menyediakan dua sertifikat pembelajaran AI yang dirancang untuk para pemimpin senior yang sudah berpengalaman, maupun para pemula di bidang AI, yang membantu mengedukasi pengguna di semua tingkatan mengenai bagaimana AI dapat membantu mentransformasi operasi bisnis, memudahkan pembuatan keputusan, dan mendorong inovasi. Pelatihan AI Foundation memandu pengguna menerapkan pengetahuan ini saat memanfaatkan Red Hat AI.
Ketersediaan
Red Hat OpenShift AI 2.18 dan Red Hat Enterprise Linux AI 1.4 kini telah tersedia secara umum. Informasi lebih lanjut mengenai fitur tambahan, peningkatan, perbaikan bugs dan cara meng-upgrade ke versi terbaru Red Hat OpenShift AI bisa ditemukan di sini dan versi terbaru RHEL AI bisa ditemukan di sini. Red Hat AI InstructLab di IBM Cloud akan segera tersedia. Pelatihan AI Foundations dari Red Hat tersedia untuk pelanggan saat ini.
