Perusahaan global penyedia solusi open source, Red Hat, Inc., hari ini mengumumkan penandatanganan kesepakatan definitif untuk mengakuisisi Neural Magic, pelopor dalam software dan algoritma yang mempercepat beban kerja inferensi AI generatif (gen AI).
Keahlian Neural Magic dalam inferensi performance engineering dan komitmennya terhadap open source selaras dengan visi Red Hat mengenai beban kerja AI berperforma tinggi yang secara langsung memetakan kasus penggunaan dan data yang spesifik bagi pelanggan, di mana saja di seluruh hybrid cloud.
Sementara janji gen AI mendominasi sebagian besar lanskap teknologi saat ini, model large language models (LLM) yang menopang sistem ini terus bertambah besar. Akibatnya, pengembangan layanan LLM yang hemat biaya dan andal membutuhkan daya komputasi, sumber daya energi, dan keterampilan operasional khusus yang signifikan. Tantangan-tantangan ini secara efektif membuat manfaat-manfaat AI yang bisa disesuaikan, siap digunakan, dan lebih memperhatikan keamanan, berada di luar jangkauan sebagian besar perusahaan.
Red Hat ingin menjawab semua tantangan tersebut dengan menjadikan gen AI lebih bisa diakses oleh lebih banyak perusahaan melalui inovasi terbuka vLLM. Dikembangkan oleh UC Berkeley, vLLM adalah proyek open source yang digerakkan komunitas untuk open model serving (bagaimana model gen AI menyimpulkan dan memecahkan masalah), yang men-support semua keluarga model utama, riset percepatan inferensi mutakhir, dan hardware backend yang berbeda, di antaranya AMD GPU, AWS Neuron, Google TPU, Intel Gaudi, NVIDIA GPU, dan x86 CPU.
Matt Hicks, president dan CEO, Red Hat, mengatakan “Beban kerja AI harus berjalan di mana pun data pelanggan berada di hybrid cloud; sehingga platform dan tools terbuka, fleksibel, dan standar, telah menjadi sebuah kebutuhan; karena keduanya memungkinkan perusahaan untuk memilih lingkungan, sumber daya, dan arsitektur yang paling selaras dengan kebutuhan operasional dan data mereka yang unik. Kami antusias untuk melengkapi portofolio AI yang berfokus pada hybrid cloud, dengan terobosan inovasi AI dari Neural Magic, semakin mendorong kami untuk tidak hanya menjadi ‘Red Hat’ open source, namun juga menjadi ‘Red Hat AI.”
Sementara itu Brian Stevens, CEO, Neural Magic, menyatakan “Open source telah terbukti berkali-kali mendorong inovasi melalui kekuatan kolaborasi komunitas. Di Neural Magic, kami telah mengumpulkan beberapa talenta teratas dalam industri performance engineering AI, dengan satu misi untuk mengembangkan kemampuan LLM serving yang terbuka, lintas platform dan sangat efisien. Bergabung dengan Red Hat bukan hanya kecocokan budaya, namun akan menguntungkan perusahaan besar dan kecil dalam perjalanan transformasi AI mereka.”
Kepemimpinan Neural Magic di proyek vLLM digabungkan dengan portofolio teknologi hybrid cloud AI yang kuat dari Red Hat, akan menawarkan perusahaan jalur terbuka untuk membangun strategi AI yang memenuhi kebutuhan unik mereka, di mana pun data mereka berada.
Red Hat + Neural Magic: Meraih masa depan gen AI yang hybrid cloud-ready
Neural Magic lahir dari MIT tahun 2018 dengan tujuan membangun software inferensi yang unggul untuk deep learning. Dengan teknologi dan keahlian Neural Magic dalam performance engineering, Red Hat menargetkan untuk mempercepat visinya untuk masa depan AI, didukung oleh portofolio teknologi AI Red Hat. Dibangun untuk mengatasi tantangan enterprise AI dalam skala besar, Red Hat menggunakan inovasi open source untuk lebih mendemokratisasi akses ke kekuatan transformatif AI melalui:
● Model berlisensi open source, mulai dari skala parameter 1B hingga 405B, yang bisa berjalan di mana saja dia dibutuhkan di seluruh hybrid cloud – di pusat data korporasi, di sejumlah cloud, dan edge.
● Menyempurnakan kemampuan yang memungkinkan perusahaan untuk dengan lebih mudah menyesuaikan LLM dengan data privat dan kasus penggunaan mereka, disertai dengan security footprint yang lebih kuat;
● Keahlian performance engineering inferensi, yang menghasilkan efisiensi yang lebih besar dalam operasional dan infrastruktur; dan
● Ekosistem mitra dan open source, dan struktur sistem support yang memberikan lebih banyak pilihan kepada pelanggan, dari LLM dan tooling hingga hardware server tersertifikasi serta arsitektur chip yang mendasarinya.
Kepemimpinan vLLM untuk meningkatkan AI Red Hat
Neural Magic memanfaatkan keahlian dan pengetahuan vLLM untuk membangun inference stack kelas enterprise yang memampukan pelanggan mengoptimalkan, menjalankan, dan mengembangkan beban kerja LLM di seluruh lingkungan hybrid cloud dengan kontrol penuh terhadap pilihan infrastruktur, kebijakan keamanan dan lifecycle model. Neural Magic juga mengembangkan riset optimasi model, membangun LLM Compressor (library terpadu untuk mengoptimalkan LLM dengan algoritma ketersebaran (sparsity) dan kuantisasi mutakhir) dan menjalankan repository yang berisi model yang sudah dioptimalkan dan siap di-deploy dengan vLLM.
Red Hat ingin membantu pelanggan mengurangi biaya AI dan hambatan skill melalui penggunaan teknologi yang powerful, termasuk:
● Red Hat Enterprise Linux AI (RHEL AI), platform model dasar untuk mengembangkan, menguji, dan menjalankan keluarga IBM Granite dari LLM open source untuk aplikasi enterprise di deployment server Linux;
● Red Hat OpenShift AI, platform AI yang menyediakan tool untuk dengan cepat mengembangkan, melatih, melayani dan mengawasi model machine learning di seluruh lingkungan Kubernetes yang terdistribusi di on-site, di public cloud atau di edge; dan
● InstructLab, proyek komunitas AI open source yang mudah diakses, diciptakan oleh Red Hat dan IBM supaya siapa saja dapat membentuk masa depan gen AI melalui peningkatan kolaboratif Granite LLM berlisensi open source menggunakan teknologi mutakhir InstructLab.
Kepemimpinan teknologi Neural Magic dalam vLLM akan meningkatkan kemampuan AI Red Hat dalam mendukung penerapan LLM di mana saja di seluruh hybrid cloud dengan inference stack yang siap pakai, sangat optimal dan terbuka.
“Saat klien kami bermaksud mengembangkan AI di seluruh lingkungan hybrid mereka – LLM yang cloud-native dantervirtualisasi serta dibangun dalam fondasi terbuka akan menjadi sebuah standar dalam industri. Kepemimpinan Red Hat dalam open source, digabungkan dengan pilihan model open source yang efisien seperti IBM Granite dan penawaran dari Neural Magic untuk mengembangkan AI lintas platform, akan memberikan kontrol dan fleksibilitas yang dibutuhkan perusahaan untuk menjalankan AI di perusahaan mereka,” ujar Dario Gil, IBM senior vice president dan director of Research, dalam komentarnya.
