Selama hampir dua tahun berkolaborasi erat dengan salah satu pusat penelitian terkemuka di Jerman, Universitas Tübingen, Sardina Systems telah memberikan dukungan penting untuk meningkatkan efisiensi dan produktivitas infrastruktur cloud machine learning universitas.
Dalam studi kasus ini, kami akan membahas bagaimana FishOS, platform manajemen cloud Sardina Systems yang sepenuhnya otomatis, dapat diskalakan, dan hemat biaya, membantu tim kecil yang terdiri dari para ahli menangani tugas harian mereka sehingga para ilmuwan data dapat memfokuskan upaya mereka untuk melakukan penelitian terobosan di berbagai bidang, seperti kedokteran, pertanian, pengemudian otonom, dan bidang-bidang lainnya, serta memberikan solusi transformatif.
Bertemu dengan ML Cloud
ML Cloud di Universitas Tübingen, yang terdiri dari AI Centre dan ML Cluster of Excellence, mendorong proyek-proyek yang berdampak besar dalam pencitraan medis, termasuk studi kanker dan otak, serta visi komputer dan analisis gerakan manusia, inisiatif simulasi dan prediksi iklim, dan bahkan melatih robot Boston Dynamics untuk tugas-tugas pertanian. Dengan keterlibatan 48 kelompok penelitian, proyek-proyek ini mendorong batas-batas dan memberikan kontribusi yang signifikan di berbagai bidang.
Saat ini, sumber daya personel yang terbatas terlibat dalam memelihara cluster yang terdiri dari sekitar 200 core, yang bertanggung jawab atas semua operasi data. Mari kita telusuri tantangan yang dihadapi para spesialis sebelum mengimplementasikan FishOS, dan bagaimana platform ini membantu mereka mengatasi kesulitan ini.
Merangkul Tantangan
Tim TI universitas menghadapi tantangan khusus yang melekat pada organisasi publik. Beroperasi dalam batasan dana pemerintah yang ketat, mereka harus memastikan kelancaran sistem komputasi ilmiah di berbagai unit sekaligus memenuhi beragam kebutuhan komputasi dari berbagai kelompok penelitian. Stabilitas sangat penting bagi para peneliti yang mencari hasil yang tepat, terutama di bidang-bidang seperti penelitian kanker dan otak di mana daya komputasi sangat diperlukan untuk aplikasi pembelajaran mesin.
Menavigasi Rintangan
Menanggapi tantangan ini, tim universitas memilih untuk memanfaatkan infrastruktur di tempat untuk memaksimalkan efisiensi anggaran dan memenuhi persyaratan kapasitas. Mereka mengembangkan arsitektur perangkat keras yang disesuaikan untuk memenuhi beragam kebutuhan kelompok penelitian kecil yang tersebar di seluruh Jerman. Arsitektur ini menggabungkan virtualisasi dan bare metal secara seimbang, dilengkapi dengan fasilitas penyimpanan Ceph terdistribusi untuk tujuan pengarsipan.
Sekitar 15-20% node sistem dialokasikan untuk penyeimbang beban, dengan node yang tersisa didedikasikan untuk daya komputasi. Hypervisor dilengkapi dengan konfigurasi CPU-only, GPU V100, dan GPU A100, dengan sekitar 70% node saat ini digunakan melalui bare metal. Sumber daya GPU, yang terletak di hypervisor dan bare metal, diprioritaskan untuk meningkatkan daya tanggap sistem. Selain itu, sistem ini mengakomodasi tugas-tugas yang lebih konvensional dengan menyediakan CPU klasik untuk fungsi-fungsi seperti manajemen dataset.
FishOS: Mendukung Infrastruktur yang Stabil dan Merampingkan Operasi
- Antarmuka Terpadu. Dengan FishOS, mengelola infrastruktur ML Cloud, yang tersebar di beberapa area, melalui antarmuka terpadu menjadi sangat efisien.
- Fleksibilitas. Mungkin salah satu keuntungan paling menonjol dari ML Cloud adalah fleksibilitas FishOS – FishOS dapat berjalan pada node logam dan GPU. Fleksibilitas ini sangat meningkatkan kinerja dan memfasilitasi pencapaian tujuan penelitian dengan mulus.
- Kemampuan beradaptasi. Kristina Kapanova, Kepala ML Cloud, memuji FishOS karena kemampuannya beradaptasi.
“FishOS menawarkan berbagai pilihan layanan yang disesuaikan dengan kebutuhan spesifik: apakah itu mengelola beban kerja yang lebih kecil atau lebih besar, menerbitkan kumpulan data, atau melakukan tolok ukur. Bagi saya, ini juga merupakan hasil yang positif, karena kami bisa dengan mudah mengelola perubahan melalui FishOS.”, ujar Ms Kapanova.
- Stabilitas. Keuntungan penting lainnya dari platform yang sangat selaras dengan kebutuhan universitas ini adalah stabilitas sistem secara keseluruhan.
- Hemat Waktu. Selain itu, waktu yang dihemat oleh FishOS untuk tugas dan tujuan lain sangat penting, karena semua modifikasi yang diperlukan dapat dijalankan dengan beberapa perintah. Misalnya, hanya dalam 3-4 langkah sederhana, para ahli di ML Cloud dapat dengan cepat menyiapkan sistem yang berjalan penuh untuk pengguna. Aspek yang sangat penting di sini terletak pada efektivitas dan kecepatan dalam menyelesaikan tugas ini, memenuhi permintaan pengguna yang terus berkembang yang selalu mencari lebih.
“Saya dapat memberikan layanan kepada pengguna dalam waktu seminggu yang mungkin membutuhkan waktu satu bulan. Penyediaan fungsionalitas pengguna yang cepat dan kemudahan yang dihasilkan dalam beban kerja saya sangat berharga,” kata Kapanova.
Ketika menangani kebutuhan pengguna, sistem tiket ML Cloud berfungsi sebagai alat komunikasi internal utama organisasi, memainkan peran penting dalam menyelesaikan masalah yang muncul dengan cepat. Kelancaran fungsinya juga berkat FishOS.
- Manajemen Jaringan. Selain stabilitas, manajemen jaringan juga menjadi prioritas. Platform ini dengan mulus mengawasi seluruh sistem dengan menetapkan dan mengelola alamat IP, membebaskan para ahli dari tanggung jawab berat lainnya dan memungkinkan mereka untuk fokus pada tugas-tugas yang lebih tinggi.
- Tidak Ada Gangguan. Kristina Kapanova mengamati tidak ada gangguan dalam penggunaan platform. Meskipun para spesialis ML Cloud terkadang mengalami masalah perangkat keras, namun setelah diatasi, infrastruktur cloud kembali aktif dan berjalan dalam beberapa menit. “Ini adalah pertama kalinya saya mengalami kembalinya layanan yang begitu mulus,” kata Kapanova.
- Dukungan. Keuntungan FishOS yang tidak dapat disangkal adalah dukungannya yang sangat cepat dan dapat diandalkan yang diberikan kepada universitas. Sejak awal pengadopsian platform ML Cloud, tim teknis Sardina Systems memberikan panduan terperinci. Hal ini memungkinkan para spesialis, bahkan mereka yang tidak terbiasa dengan operasi rutin, untuk menguasainya dengan cepat.
Ketika beberapa mesin virtual mengalami perlambatan mendadak selama L2L Challenge, salah satu kompetisi pembelajaran mesin yang paling penting bagi para ilmuwan, masalah RAM yang tidak mencukupi dapat diidentifikasi dengan cepat dan diselesaikan dalam beberapa hari. Upaya yang efektif dan terkoordinasi dengan baik dari para ahli Sardina Systems berperan penting dalam mencegah insiden serupa di masa mendatang. “Mempertimbangkan dukungannya yang luar biasa, fungsionalitas, dan manfaat penghematan waktu, serta ketersediaan semua sistem yang berkelanjutan, FishOS tampaknya menawarkan nilai uang yang sangat baik,” tambah Kapanova.
Apa yang berikutnya? Program Tübingen untuk Inovasi dan Pertumbuhan
Dalam hal rencana yang akan datang, AI Center di dalam ML Cloud akan berlipat ganda dalam beberapa tahun ke depan. Oleh karena itu, ML Cloud memperluas infrastrukturnya untuk memenuhi permintaan komputasi yang terus meningkat . Universitas ini bertujuan untuk memperluas kemampuannya dengan menggabungkan prosesor non-GPU untuk beban kerja AI dan ML yang spesifik di berbagai area. Inisiatif ini bertujuan untuk mengembangkan solusi yang disesuaikan untuk mengurangi konsumsi energi sambil mempertahankan kinerja .
“Saya senang bahwa Sardina Systems telah menguji FishOS untuk kompatibilitas dengan Gaudi2dan tolok ukur awal terlihat menjanjikan. Selain itu, saya berencana untuk menggunakan FPGA dengan platform ini untuk menawarkan lebih banyak pilihan kepada pengguna. Kesempatan untuk penerapan bare-metal dengan node-node ini sangat memuaskan,” komentar Ibu Kapanova.
Selain itu, ML Cloud meningkatkan pemanfaatan penyimpanan Ceph, dan Sardina Systems akan memberikan dukungan untuk hal ini, mengingat FishOS dibangun di atas teknologi Ceph.
Langkah Masa Depan untuk Kesuksesan Cloud Pembelajaran Mesin
FishOS hadir sebagai pengubah permainan untuk institusi akademik. Menyederhanakan alur kerja dan membebaskan para peneliti dari kerumitan teknis, FishOS memberdayakan universitas seperti Tübingen untuk berinovasi dengan lancar sambil mengoptimalkan kegiatan operasional.
