Akamai, perusahaan keamanan siber dan Cloud Computing global, baru-baru ini meluncurkan Akamai Cloud Inference.
Solusi baru Akamai ini disebut membantu mendorong inovasi yang lebih cepat dan lebih efisien bagi berbagai organisasi yang ingin mengubah model prediktif dan Large Language Models (LLM) menjadi tindakan nyata. Akamai Cloud Inference berjalan di Akamai Cloud, platform paling terdistribusi di dunia, untuk mengatasi berbagai keterbatasan yang terus meningkat dalam model cloud terpusat.
“Mendekatkan data AI ke pengguna dan perangkat itu sulit, dan di situlah tantangan yang dihadapi platform cloud lama,” kata Adam Karon, Chief Operating Officer dan General Manager, Cloud Technology Group di Akamai.
“Meskipun pekerjaan berat pelatihan LLM akan terus terjadi di pusat-pusat data hyperscale besar, pekerjaan inferensi yang dapat ditindaklanjuti akan berlangsung di edge, di mana platform yang telah dibangun Akamai selama dua setengah dekade terakhir menjadi penting untuk masa depan AI dan yang membedakan kami dari setiap penyedia cloud lain yang ada di pasar,” sambungnya.
Inferensi AI pada Akamai Cloud
Solusi baru Akamai menyediakan alat bagi para insinyur dan pengembang platform untuk membangun dan menjalankan aplikasi AI dan beban kerja intensif data lebih dekat ke pengguna akhir, sehingga memberikan throughput 3x lebih baik serta mengurangi latensi hingga 2,5x. Dengan menggunakan solusi Akamai, perusahaan-perusahaan dapat hemat hingga 86% dalam inferensi AI dan beban kerja AI agentik dibandingkan dengan infrastruktur hyperscaler tradisional. Akamai Cloud Inference mencakup:
- Komputasi: Akamai Cloud menawarkan perangkat komputasi serbaguna, mulai dari CPU klasik untuk inferensi yang disetting dengan baik, hingga opsi komputasi dipercepat yang kuat dalam GPU, dan VPU ASIC yang disesuaikan untuk menyediakan daya yang tepat untuk mengatasi berbagai tantangan dalam inferensi AI. Akamai terintegrasi dengan ekosistem AI Enterprise Nvidia, dengan memanfaatkan Triton, TAO Toolkit, TensorRT, dan NVFlare untuk mengoptimalkan kinerja inferensi AI pada GPU NVIDIA.
- Manajemen Data: Akamai memungkinkan para pelanggan untuk memanfaatkan seluruh potensi inferensi AI dengan fabrik data mutakhir yang dibangun khusus untuk beban kerja AI modern. Akamai telah bermitra dengan VAST Data untuk menyediakan akses yang disederhanakan ke data real-time guna mempercepat tugas-tugas terkait inferensi, yang penting agar memberikan hasil yang relevan dan pengalaman yang responsif. Kemampuan ini dilengkapi dengan penyimpanan objek yang sangat terukur untuk mengelola volume dan variasi kumpulan data yang penting bagi aplikasi-aplikasi AI, dan integrasi dengan vendor database vektor terkemuka, termasuk Aiven dan Milvus, untuk mendukung fungsi Retrieval-Augmented Generation (RAG). Dengan kemampuan manajemen data ini, Akamai menyimpan data model yang sudah disetting dengan baik dan artefak pelatihan secara aman untuk memberikan inferensi AI dengan latensi rendah dalam skala global.
- Kontainerisasi: Kontainersisasi beban kerja AI mendukung peningkatan kapastias secara otomatis sesuai permintaan, peningkatan ketahanan aplikasi, dan portabilitas hibrida/multicloud, serta mengoptimalkan kinerja dan biaya. Dengan Kubernetes, Akamai memberikan inferensi AI yang lebih cepat, lebih murah, dan lebih aman dengan kinerja dalam skala petabyte. Didukung oleh Linode Kubernetes Engine (LKE)-Enterprise, edisi enterprise baru dari platform orkestrasi Kubernetes Akamai Cloud yang dirancang khusus untuk beban kerja perusahaan skala besar, dan Akamai App Platform yang baru-baru ini diumumkan, Akamai Cloud Inference mampu dengan cepat menerapkan platform proyek-proyek Kubernetes open source yang siap AI, termasuk KServe, Kubeflow, dan SpinKube, yang terintegrasi secara mulus untuk menyederhanakan penerapan model AI untuk inferensi.
- Komputasi Edge: Untuk menyederhanakan cara pengembang dalam membangun aplikasi-aplikasi berbasis AI, Akamai AI Inference menyertakan kemampuan WebAssembly (WASM). Melalui kerja sama dengan penyedia WASM seperti Fermyon, Akamai membantu para pengembang menjalankan inferensi untuk LLM langsung dari aplikasi tanpa server, sehingga par pelanggan dapat enjalankan kode ringan di edge untuk mendukung aplikasi-aplikasi yang membutuhkan latensi rendah.
Bersama-sama, seluruh tools ini menciptakan platform yang kuat untuk aplikasi-aplikasi berbasis AI dengan latensi rendah yang dengan ini perusahaan-perusahaan dapat memberikan pengalaman yang diinginkan pengguna mereka.
Akamai Cloud Inference berjalan di platform cloud Akamai yang sangat terdistribusi, sehingga mampu secara konsisten mengirimkan lebih dari satu petabyte per detik untuk beban kerja yang memerlukan data intensif. Meliputi dari lebih dari 4.200 titik kehadiran di lebih dari 1.200 jaringan di lebih dari 130 negara di seluruh dunia, Akamai Cloud membuat sumber daya komputasi tersedia dari cloud ke edge serta mempercepat kinerja aplikasi dan meningkatkan skalabilitas.
Peralihan dari pelatihan ke inferensi
Seiring pengaadopsian AI yang samakin matang, berbagai perusahaan mulai menyadari bahwa hype seputar LLM telah menciptakan distraksi, yang mengalihkan fokus dari dari solusi-solusi AI praktis yang lebih cocok untuk menyelesaikan masalah bisnis yang spesifik. LLM unggul dalam tugas-tugas umum seperti ringkasan, terjemahan, dan layanan pelanggan.
Model-model ini sangat besar, mahal, dan pelatihannya memakan waktu. Banyak perusahaan yang merasa memiliki keterbatasan dalam persyaratan arsitektur dan biaya, termasuk pusat data dan daya komputasi; sistem data yang terstruktur dengan baik, aman, dan dapat ditingkatkan; serta tantangan yang ditimbulkan oleh persyaratan lokasi dan keamanan terhadap latensi keputusan. Model-model AI ringan, — yang dirancang untuk menangani masalah-masalah bisnis spesifik — dapat dioptimalkan untuk industri-industri tertentu, dapat menggunakan data milik perusahaan untuk menghasilkan hasil yang terukur, dan menawarkan laba atas investasi yang lebih baik untuk perusahaan-perusahaan saat ini.
Inferensi AI membutuhkan cloud yang lebih terdistribusi
Semakin banyak data yang akan dihasilkan di luar pusat data terpusat atau wilayah cloud. Perubahan ini mendorong permintaan akan solusi AI yang memanfaatkan pembuatan data yang lebih dekat dengan titik asalnya. Ini secara fundamental mengubah kebutuhan infrastruktur karena perusahaan bergerak melampaui pembangunan dan pelatihan LLM, menuju penggunaan data untuk pengambilan keputusan yang lebih cepat dan cerdas serta berinvestasi dalam pengalaman yang lebih personal.
Perusahaan-perusahaan menyadari bahwa mereka dapat menghasilkan lebih banyak nilai dengan memanfaatkan AI untuk mengelola dan meningkatkan operasi dan proses bisnis mereka. Arsitektur cloud terdistribusi dan edge muncul sebagai pilihan yang lebih disukai untuk kasus penggunaan kecerdasan operasional karena dapat memberikan wawasan yang dapat ditindaklanjuti secara real-time di seluruh aset yang terdistribusi, bahkan di lingkungan terpencil.
Contoh awal pelanggan di Akamai Cloud mencakup asisten suara di mobil, manajemen hasil berbasis AI, optimisasi gambar untuk marketplace produk konsumen, pengalaman berbelanja dengan visualisasi produk secara virtual, generator deskripsi produk otomatis, dan penganalisis sentimen umpan balik pelanggan.
“Melatih LLM seperti membuat peta, yang mengharuskan Anda mengumpulkan data, menganalisis medan, dan merencanakan rute. Pekerjaan ini lambat dan memerlukan banyak sumber daya, tetapi setelah dibangun, akan sangat berguna. Inferensi AI itu seperti menggunakan GPS, langsung menerapkan pengetahuan itu, menghitung ulang secara real-time, dan beradaptasi dengan perubahan untuk membawa Anda ke tempat yang Anda tuju,” jelas Karon.
“Inferensi adalah frontier berikutnya untuk AI,” tutupnya singkat.
