Oleh: Chris Wright, Senior Vice President dan Chief Technology Officer (CTO), Red Hat

[Redaksi]Masa depan AI enterprise tak bisa tunggal. Red Hat dorong pendekatan hybrid dan terbuka agar perusahaan lebih lincah berinovasi.

Tema yang diangkat di ajang Red Hat Summit 2025 adalah ‘beban kerja apa pun, aplikasi apa pun, dan di mana pun’. Tema ini mencerminkan perkembangan terbaru dalam dunia IT selama dua tahun terakhir.

“Model apa pun. Akselerator apa pun. Cloud apa pun.”

Itulah pesan yang dibawa oleh hybrid cloud untuk era AI. Bagian terbaiknya adalah, sama seperti hybrid cloud yang ‘lama’, semuanya ditenagai oleh inovasi open source.

Di Red Hat Summit tahun ini, dipaparkan bagaimana ekosistem AI yang dibangun dengan prinsip open source dan open model dapat membuka berbagai opsi baru bagi enterprise.

Keterbukaan memberikan pilihan, dan pilihan membawa fleksibilitas yang lebih besar, mulai dari model terbaik yang memenuhi kebutuhan perusahaan, sampai ke akselerator yang melandasinya dan ke mana beban kerja berjalan. Strategi AI yang sukses akan mengikuti data di mana saja data itu berada di hybrid cloud.

Pertanyaan selanjutnya adalah apa yang menggerakkan hybrid cloud? Open source.

Mengapa Inferensi Penting untuk Performa AI

Kita harus mulai melihat lebih jauh, bukan hanya model. Model sangat penting bagi strategi AI. Namun tanpa inferensi, pada fase “doing” AI, model hanyalah kumpulan data yang tidak ‘do’ atau tidak melakukan apapun. Inferensi adalah seberapa cepat satu model merespons input dari pengguna dan seberapa efisien keputusan bisa dibuat dengan sumber daya komputasi yang dipercepat. Pasalnya, respons yang lambat dan efisiensi yang buruk pada akhirnya akan menghabiskan biaya dan mencederai kepercayaan pelanggan.

Inilah mengapa saya sangat antusias ketika inferensi kini menjadi salah satu fokus pengembangan dalam ekosistem AI open source, seperti yang dilakukan Red Hat, termasuk dengan hadirnya inisiatif seperti AI Inference Server.

Server inferensi AI ini dikembangkan di atas proyek vLLM open source dan teknologi Neural Magic untuk menyediakan server inferensi yang siap digunakan dalam berbagai kebutuhan AI.

Server inferensi ini dapat dijalankan mengikuti lokasi data, di berbagai platform Linux maupun distribusi Kubernetes, termasuk Red Hat dan lainnya.

Wujudkan AI Enterprise yang Siap Skala Besar

Pengaplikasian terbaik TI enterprise bukanlah pada beban kerja tunggal dan terpadu atau layanan cloud baru, tapi kemampuan untuk melakukan penskalaan (scaling) atau pengembangan dengan cepat dan efisien. Hal ini juga berlaku dalam konteks AI.

Namun AI memiliki tantangan uniknya sendiri, yaitu sumber daya komputasi yang dipercepat, yang melandasi beban kerja AI, juga harus bisa melakukan scaling. Hal ini bukan perkara sederhana, mengingat tingginya biaya dan keahlian yang diperlukan untuk mengimplementasikan hardware secara optimal.

Apa yang kita butuhkan bukan hanya kemampuan untuk melakukan scaling, tapi juga mendistribusikan beban kerja AI yang masif ke sejumlah klaster komputasi terakselerasi. Tantangannya menjadi kian rumit karena reasoning model dan agentic AI juga memerlukan scaling waktu inferensi.

Sebagai solusinya, beban harus dibagi agar performa tidak tersendat, efisiensi meningkat, dan pengalaman pengguna tetap optimal.

Salah satu upaya untuk menjawab tantangan tersebut adalah proyek open source bernama llm-d. Dijalankan secara kolaboratif bersama pemimpin industri AI di bidang akselerasi hardware, pengembangan model, dan komputasi cloud, proyek llm-d menggabungkan kekuatan orkestrasi Kubernetes yang telah terbukti dengan vLLM, menyatukan dua pilar open source untuk menjawab kebutuhan yang sangat nyata.

Bersama teknologi seperti AI-aware network routing, KV cache offloading, dan lainnya, llm-d mendesentralisasi sekaligus mendemokratisasi proses inferensi AI. Dengan demikian, dapat organisasi memaksimalkan sumber daya komputasinya dengan beban kerja yang lebih hemat biaya dan lebih efektif.

Open Source Dorong Inovasi AI

Llm-d dan vLLM, yang dihadirkan melalui Red Hat AI Inference Server, adalah teknologi open source yang siap menjawab tantangan AI enterprise saat ini. Namun komunitas tidak hanya fokus pada kebutuhan jangka pendek. Di dunia AI, waktu seolah dipercepat. Laju inovasi yang sangat cepat membuat tantangan yang awalnya diperkirakan baru akan muncul beberapa tahun ke depan, kini sudah di depan mata.

Llama Stack, proyek yang dipimpin oleh Meta, bertujuan menghadirkan komponen dasar dan API terstandarisasi untuk lifecycle aplikasi generative AI. Sejumlah pihak, termasuk Red Hat, terlibat langsung dalam pengembangannya.

Lebih dari itu, Llama Stack sangat cocok digunakan dalam pengembangan aplikasi agentic AI, yang merupakan evolusi lanjutan dari beban kerja gen AI yang sudah kita kenal saat ini. Tidak hanya di level upstream (kode sumber utama), Llama Stack juga tersedia dalam versi pratinjau pengembang, melalui Red Hat AI,Vbagi organisasi yang ingin mulai menguji penerapannya sejak dini.

Dalam pengembangan AI agent saat ini, kita masih belum memiliki protokol standar untuk cara aplikasi-aplikasi lain dapat memberikan konteks dan informasi kepada agen-agen AI tersebut. Di sinilah peran model context protocol (MCP) menjadi penting.

Dikembangkan dan dibuka sebagai open source oleh Anthropic pada akhir 2024, MCP menawarkan protokol standar untuk interaksi antara AI agent dan aplikasi, mirip seperti protokol client-server dalam komputasi tradisional.

Yang menarik adalah MCP memungkinkan aplikasi yang sudah ada untuk langsung memiliki kemampuan AI tanpa perlu pengembangan ulang secara besar-besaran. Hal ini merupakan lompatan besar dan semua itu dimungkinkan berkat kekuatan open source. Seperti Llama Stack, MCP juga tersedia dalam versi pratinjau pengembang di platform Red Hat AI.

Model AI proprietary (tertutup) mungkin sempat memimpin di awal, tetapi kini ekosistem open source jelas mengambil alih, terutama dalam hal software yang menopang model-model AI generasi terbaru. Berkat inovasi seperti vLLM dan llm-d, serta produk open source yang telah diperkuat untuk kebutuhan enterprise, masa depan AI terlihat cerah, apa pun modelnya, akselerator atau cloud-nya. Masa depan AI diyakini akan ditopang oleh inovasi open source yang terus berkembang.