Oleh: Daniel Hand, Field Chief Technology Officer for APJ, Cloudera
Satu tahun lalu, “Generative Design AI” menempati ujung luar Gartner hype cycle untuk teknologi-teknologi baru. Saat ini, Gartner yakin bahwa Generative AI (Gen AI) berada dekat dengan puncak ekspektasinya.
Kelebihan dari Gen AI adalah teknologi ini menarik dan jangkauannya luas, para analis yakin ini akan berdampak terhadap setiap industri besar dan fungsi kerja. Laporan McKinsey tahun 2023 menyatakan bahwa Gen AI dan teknologi lain memiliki potensi untuk mengotomatisasi aktivitas kerja yang menghabiskan 60 hingga 70 persen waktu karyawan saat ini. Penelitian IDC juga menyoroti bagaimana dua pertiga organisasi di Asia Pasifik menjajaki atau berinvestasi di Gen AI tahun ini.
Memasuki 2024, saya memperkirakan perusahaan akan memperkuat upaya mereka dalam mengoperasionalkan dan meningkatkan Gen AI, serta menyesuaikan pendekatan mereka terhadap volume data yang meningkat di seluruh lingkungan – terutama cloud – untuk mendorong fleksibilitas dan pertumbuhan.
Berikut ini adalah beberapa tren yang kita akan lihat di tahun ini.
MLOPS yang Kuat dan Integrasi Data akan Membantu Operasional Gen AI
Sejak ChatGPT v3.5 dirilis bulan November 2022, organisasi sudah menghadapi tantangan dalam mendapatkan keuntungannya sekaligus secara aman menyediakan data kontekstual yang cukup agar menjadikannya berguna.
ChatGPT dan Large Language Models (LLM) berbasis software-as-a-service (SaaS) lain telah menghadirkan tantangan privasi data yang signifikan bagi organisasi. Dalam banyak kasus, pertanyaan, jawaban dan data kontekstualnya bisa jadi sangat sensitif. Ini tidak sesuai untuk layanan publik multi-tenant yang menggunakan kembali data ini untuk melatih model.
Kemajuan pesat dalam LLM open source seperti Llama-v2 milik Meta memberikan performa yang sebanding dengan ChatGPT telah menyediakan suatu alternatif yang patut dipertimbangkan. Namun, model Gen AI sulit bergerak dari lab ke produksi dengan cara yang skalabel dan bisa diandalkan. Model ini juga biasanya dibagikan ke beberapa aplikasi, dan dengan demikian, memberikan tantangan integrasi data yang lebih besar dibandingkan dengan model lama Machine Learning (ML).
Di tahun 2024, saya memperkirakan organisasi akan terus berfokus untuk mengembangkan Machine Learning Operations (MLOPS) yang kuat dan kemampuan integrasi data.
Organisasi Akan Menggandakan RAG dan Melakukan Fine-tuning untuk Mengoptimalkan LLM
Ada beberapa pendekatan untuk mengoptimalkan performa LLM, di antaranya Prompt Engineering, Retrieval Augmented Generation (RAG), dan Fine-Tuning.
RAG menggunakan konten berdasarkan pengetahuan untuk memperkaya perintah (prompt) dan menyediakan konteks yang dibutuhkan. Komponen kunci arsitektur RAG ini adalah database konten berbasis pengetahuan yang diindeks dengan cara yang khusus.
Pertanyaan pengguna dikodekan dalam representasi matematika yang kemudian digunakan untuk mencari konten yang terdekat dengannya di database. Pertanyaan pengguna, sebagai bagian dari prompt, kemudian dikirimkan ke LLM untuk inferensi. Menyediakan pertanyaan dan konteks domain memberikan hasil yang secara signifikan lebih baik.
RAG telah terbukti merupakan pendekatan yang efektif untuk mengadopsi LLM karena ini tidak membutuhkan pelatihan atau tuning LLM apa pun – dan tetap memberikan hasil yang bagus. Namun, ini membutuhkan pipeline data engineering untuk menjaga tempat penyimpanan berbasis pengetahuan, dan database vektor khusus untuk menyimpan data yang sudah diindeks.
Saya yakin RAG akan terus menjadi pendekatan yang bisa diakses ke Gen AI oleh banyak organisasi pada tahun 2024.
Satu pendekatan untuk melakukan fine tuning yang telah mendapatkan banyak perhatian di tahun 2023 adalah Performance Efficient Fine Tuning (PEFT). PEFT melatih neural network kecil di data khusus domain dan bersama dengan LLM yang memiliki tujuan umum. Ini memberikan banyak manfaat performa sebagaimana melatih LLM yang lebih besar, namun dengan biaya yang lebih rendah dan data pelatihan yang lebih sedikit. Fine-tuning LLM membutuhkan kemampuan ML yang lebih kuat, namun ini bisa memberikan efisiensi yang lebih besar, explainability, dan hasil yang lebih akurat, terutama ketika data pelatihan terbatas.
Tahun 2024, saya memperkirakan pendekatan fine tuning seperti PEFT akan semakin banyak digunakan oleh organisasi, untuk proyek yang benar-benar baru dan menggantikan beberapa arsitektur RAG sebelumnya. Saya harap penyerapannya akan menjadi yang paling besar dalam organisasi dengan tim-tim data science yang lebih besar dan memiliki kemampuan lebih.
Organisasi akan Beralih dari Cloud First menjadi Cloud Considered
Komputasi cloud tetap menjadi teknologi transformatif penting dalam strategi data organisasi di tahun 2024.
Di tahun 2023, beberapa bisnis menyesuaikan strategi cloud mereka. Mereka beralih dari pendekatan cloud first (utamakan cloud) menjadi sikap yang penuh pertimbangan dan seimbang, selaras dengan langkah konservatif yang diambil oleh mayoritas organisasi besar. Hal ini didorong oleh beberapa faktor, termasuk keekonomian cloud untuk banyak beban kerja analitik yang bisa diprediksi, peraturan manajemen data, dan kebijakan fiskal organisasi – dengan mempertimbangkan perubahan kondisi ekonomi.
Organisasi ini sudah mapan dengan arsitektur cloud native di semua cloud, baik public maupun private, untuk mendukung strategi data dan cloud mereka – tambahan kerumitan arsitektur yang diasosiasikan dengan cloud native diimbangi dengan fleksibilitas, skalabilitas, dan penghematan biaya yang diberikannya.
Data fabric yang dihasilkannya di public cloud dan private cloud menyediakan fondasi untuk pendekatan cerdas, terotomatisasi dan berbasis kebijakan ke manajemen data.
Otomatisasi Manajemen Data, Demokratisasi Data, Keamanan Zero-trust akan Tetap Menjadi Perhatian Utama
Data akan terus dihasilkan dan didapatkan dengan kecepatan yang semakin tinggi, sehingga mendorong kebutuhan untuk mengadopsi otomatisasi dan kecerdasan di tingkat yang lebih besar dalam manajemen platform data. Observabilitas di seluruh infrastruktur, platform dan beban kerja akan memainkan peran yang semakin penting di tahun 2024.
Ini adalah awal dari otomatisasi platform cerdas yang memiliki performa sangat baik, unggul dan efisien. Pada inti platform data cerdas tersebut akan ada data operasional yang digunakan untuk melatih model ML. Praktisi data akan terus mendorong demokratisasi data yang lebih besar dan opsi layanan mandiri yang lebih besar. Ini selaras dengan salah satu prinsip paling penting dalam paradigma Data Mesh.
Organisasi yang paling inovatif memberdayakan ilmuwan data, engineer data, dan analis bisnis untuk mendapatkan insight lebih besar dari data tanpa melalui data gatekeeper. Menghilangkan hambatan dari semua tahapan siklus hidup data dan semakin banyak memberikan akses ke data real time akan menjadi fokus organisasi dan penyedia teknologi di tahun 2024.
Arsitektur hybrid cloud native, pengadopsian layanan SaaS dan platform-as-a-service (PaaS) pihak ketiga dan penguatan keamanan siber terus mendorong fokus pada keamanan data, zero trust dan pemisahan jelas tanggung jawab untuk manajemen data.
Zero-trust mengharuskan otentifikasi dan otorisasi terus-menerus terhadap pengguna dan sistem yang bekerja dengan data. Entitas ini akan semakin sering mendapatkan izin minimum yang dibutuhkan untuk menjalankan tugas yang diberikan dengan auditabilitas kuat. Ini akan menjadi kekuatan untuk mendorong inovasi dalam tata kelola dan manajemen data, sekaligus memenuhi permintaan yang semakin besar akan demokratisasi akses ke data.
Di tahun 2024, saya memperkirakan teknologi akan semakin menyederhanakan implementasi dan penerapan zero-trust, baik di dalam organisasi dan – terlebih lagi – di seluruh organisasi tersebut, karena data federation mendapatkan semakin banyak perhatian.
Migrasi Mendatang ke Open Data Lakehouse
Di tahun 2022 muncul inovasi besar dalam implementasi Data Lakehouse, dengan penyedia manajemen data industri terdepan menetapkan Apache Iceberg sebagai format de facto. Pengadopsian pesat Iceberg sebagai teknologi terbuka yang lebih disukai hampir pasti memengaruhi beberapa penyedia manajemen data untuk mengubah strategi open source mereka, dan mengembangkan dukungan untuk hal tersebut dalam produk mereka.
Di tahun 2024, saya perkirakan kita akan melihat migrasi yang stabil untuk data dan beban kerja ke arsitektur Open Data Lakehouse di semua public cloud dan private cloud.
