Red Hat, Inc. (Red Hat) mengumumkan serangkaian pembaruan signifikan untuk Red Hat AI, platform enterprise AI yang dirancang untuk mempercepat pengembangan dan penerapan solusi kecerdasan buatan (AI) di lingkungan hybrid cloud.

Meliputi Red Hat OpenShift AI dan Red Hat Enterprise Linux AI (RHEL AI),Red Hat AI adalah rangkaian produk dan layanan yang mengintegrasikan model training dan inference dalam satu ekosistem. Dengan kemampuan untuk berjalan di pusat data, cloud publik, maupun edge, Red Hat AI membantu perusahaan memanfaatkan data miliknya, di mana saja lokasinya, untuk melatih model AI dengan lebih efisien dan aman.

Pembaruan pada Red Hat Openshift AI

Red Hat OpenShift AI mengusung rilis terbaru Red Hat OpenShift AI 2.18 yang membekal sejumlah fitur utama.

1. Distributed Serving melalui vLLM inference server yang memungkinkan pembagian proses serving model LLM ke beberapa GPU secara paralel. Fitur ini akan mempercepat latihan dan tuning model, mengurangi beban server, dan meningkatkan efisiensi penggunaan daya komputasi.

2. End-to-End Model Tuning dengan InstructLab, yaitu integrasi penuh antara InstructLab dan data science pipelines, dilengkapi dashboard manajemen di OpenShift AI yang akan memudahkan tim data science di perusahaan melakukan fine-tuning model secara terukur, dan dapat diaudit.

3. AI Guardrails (Technology Preview), yaitu fitur pengaman untuk mendeteksi dan menangkal konten berisiko (hate speech, data pribadi, bocoran rahasia perusahaan). Fitur ini

daoat memperkecil potensi pelanggaran kebijakan, membantu sektor-sektor, seperti perbankan dan pemerintahan, yang harus mematuhi regulasi data.

4. Model Evaluation (lm-eval) yang menjadi alat benchmarking performa LLM pada beragam tugas, mulai dari logika, matematika, hingga adversarial language. Fitur ini disebut Red Hat memungkinkan perusahaan memilih model yang paling akurat untuk kebutuhannya.

Pembaruan pada RHEL AI

Red Hat Enterprise Linux AI (RHEL AI) rilis terbaru, yaitu RHEL 1.4, kini mendukung model Granite 3.1 8 yang dapat melakukan Inferensi multibahasa, kustomisasi pengetahuan (developer preview), dan memiliki context window 128.000 token untuk merangkum dokumen panjang serta tugas retrieval-augmented generation (RAG).

RHEL AI 1.4 juga menghadirkan antarmuka grafis (GUI) baru untuk “Skills & Knowledge Contributions” yang kini tersedia dalam tahap developer preview.

Dengan GUI ini, pengguna bisa lebih mudah melakukan data ingestion—mengimpor data dari berbagai sumber—serta memecahnya menjadi potongan-potongan (chunking) yang siap diproses oleh model. Selain itu, penambahan “skills” atau pengetahuan khusus ke dalam model AI bisa dilakukan lewat tampilan grafis tanpa perlu menulis skrip kompleks, sehingga tim data science dan pengembang bisa berfokus pada strategi model daripada urusan teknis yang berbelit.

Selain itu, ada juga fitur Document Knowledge-bench (DK-bench) untuk membantu membandingkan performa antara model AI yang sudah di-fine-tuning dengan data privat perusahaan dan model dasar (base model) yang belum disesuaikan. Dengan DK-bench, tim dapat melihat peningkatan akurasi, kecepatan, atau relevansi output yang diperoleh dari proses fine-tuning secara langsung dan objektif. Hal ini memudahkan organisasi untuk mengevaluasi nilai tambah penyesuaian data sebelum menerapkan model ke lingkungan produksi.

Red Hat OpenShift AI 2.18 dan Red Hat Enterprise Linux AI 1.4 kini telah tersedia secara umum.

Red Hat juga menyediakan pelatihan online gratis AI Foundations dan dua sertifikat pembelajaran AI untuk membantu pemula hingga pemimpin perusahaan memahami cara memanfaatkan AI secara optimal.

Selain itu, Red Hat AI InstructLab di IBM Cloud juga segera tersedia sebagai layanan terkelola, sehingga mempermudah proses scaling dan keamanan pelatihan model.

Joe Fernandes, Vice President president & General Manager, AI Business Unit, Red Hat, mengatakan bahwa perusahaan kini dituntut untuk mengelola kenaikan biaya deployment AI generatif seiring bertambahnya use case yang dijalankan dalam skala besar. Di sisi lain, perusahaan juga harus menangani tantangan integrasi model AI dengan data privat perusahaan dan menerapkan model tersebut di mana saja data itu berada.

“Red Hat AI membantu perusahaan mengatasi tantangan ini dengan memungkinkan mereka memanfaatkan model yang lebih efisien dan dibuat khusus, dilatih menggunakan data mereka sendiri, serta mendukung inferensi secara fleksibel di lingkungan on-premises, cloud, dan edge,” ucapnya.