Temukan cara mengubah infrastruktur cloud Anda untuk beban kerja AI: mulai dari penghematan biaya hingga sumber daya.
Ini adalah salinan dari artikel yang telah diterbitkan di Spiceworks. Klik di sini untuk membaca versi aslinya.
Kenneth Tan, PhD, direktur eksekutif dan pemimpin teknologi multibahasa dari Sardina Systems, menggali kebutuhan yang semakin meningkat bagi perusahaan untuk mengintegrasikan AI ke dalam operasi mereka dengan mahir, menawarkan wawasan strategis dalam membangun infrastruktur AI yang kuat untuk membuka potensi penuhnya bagi inovasi dan efisiensi bisnis.
Dalam beberapa tahun terakhir, perkembangan kecerdasan buatan (AI) yang pesat telah merevolusi dunia bisnis, menciptakan permintaan akan kemampuan AI yang sering kali melampaui strategi organisasi yang sudah ada. Hal ini membuat perusahaan mencari cara yang efektif untuk mengintegrasikan AI ke dalam operasi mereka.
Bagaimana dan dari mana kita harus memulai infrastruktur AI, dengan fokus pada strategi jangka panjang untuk memaksimalkan potensi AI?
Perusahaan semakin mengotomatisasi departemen dengan AI dan mengintegrasikan fitur AI baru ke dalam aplikasi mereka. Terlepas dari pertumbuhan adopsi AI, seperti yang disoroti oleh penelitian McKinsey yang menunjukkan peningkatan signifikan sejak tahun 2017, penerapan alat bantu AI sebagian besar masih berfokus pada penggunaan pribadi dan pengoptimalan rutinitas harian.
Di saat yang sama, AI berkembang pesat di tingkat perusahaan. Klien kami, termasuk mereka yang menawarkan AI sebagai layanan dan mereka yang menyematkan AI ke dalam produk mereka, menggambarkan permintaan pasar akan alat AI yang mudah diintegrasikan dan pengembangan layanan inovatif, seperti memberikan akses ke sumber daya komputasi kepada para peneliti.
Artikel ini membahas penyedia layanan dan penggabungan produk serta menggarisbawahi pentingnya infrastruktur TI yang terencana dengan baik dan terukur untuk menghindari pengeluaran yang tidak perlu dan keusangan karena teknologi yang berkembang pesat. Memulai perjalanan menuju integrasi infrastruktur AI membutuhkan pemahaman tentang kemampuan saat ini dan perencanaan strategis untuk kebutuhan masa depan. Kami menguraikan lima langkah penting untuk menavigasi proses ini secara efektif.
1. 1. Penilaian Infrastruktur Saat Ini
Pendekatan strategis terhadap cloud dan infrastruktur TI secara keseluruhan sangatlah penting.
Perubahan, terutama infrastruktur TI inti, memerlukan evaluasi menyeluruh terhadap model bisnis dan beban kerja yang diantisipasi, mungkin bertahun-tahun sebelumnya, yang menyoroti pentingnya perencanaan yang cermat di era AI.
Langkah awal dalam transformasi ini adalah dengan melakukan penilaian mendalam terhadap infrastruktur TI yang ada saat ini, untuk mengetahui kekuatan, kelemahan, dan kesenjangan terkait persyaratan AI.
Penilaian ini harus mencakup perangkat keras (misalnya, server, penyimpanan, jaringan), perangkat lunak (misalnya, basis data, platform aplikasi), dan praktik manajemen data yang ada.
Memahami kondisi infrastruktur TI saat ini sangat penting untuk merencanakan peningkatan atau perubahan yang diperlukan untuk adopsi AI.
Beberapa konsep dan kerangka kerja secara tradisional membantu organisasi dalam menilai infrastruktur TI mereka.
Memanfaatkan metodologi tersebut dapat menawarkan pendekatan terstruktur untuk mengevaluasi efektivitas, efisiensi, keamanan, dan keselarasan sistem TI dengan tujuan bisnis:
- Di antara metodologi klasik, ITIL (Information Technology Infrastructure Library) sangat relevan, karena integrasi AI harus diselaraskan dengan strategi bisnis. Dikembangkan oleh Pemerintah Inggris dan diperbarui secara berkala, ITIL menawarkan kerangka kerja terperinci untuk manajemen layanan TI untuk menyelaraskan layanan TI dengan kebutuhan bisnis, yang mencakup desain layanan hingga peningkatan. Kerangka kerja ini mendorong pendekatan yang fleksibel terhadap manajemen TI, dengan ITIL 4 yang memberikan kemajuan yang signifikan. Mengintegrasikan manajemen dengan teknologi sangatlah penting; fokus teknis semata dapat melewatkan dampak yang lebih luas, terutama dalam integrasi AI.
- Salah satu yang relevan adalah COBIT, oleh Information Systems Audit and Control Association, yang menyediakan kerangka kerja yang komprehensif untuk manajemen dan tata kelola TI perusahaan, memastikan keselarasan dengan tujuan bisnis, manajemen risiko, dan optimalisasi kinerja. Memanfaatkan COBIT memastikan bahwa peningkatan TI meningkatkan efisiensi dan selaras dengan praktik terbaik untuk otomatisasi dan manajemen.
2. Daya Komputasi dan Prosesor Berkinerja Tinggi
AI, dan khususnya deep learning, menuntut prosesor dengan kemampuan komputasi yang signifikan, seperti Graphics Processing Unit (GPU), Tensor Processing Unit (TPU), atau Field-Programmable Gate Array (FPGA).
Pasar perangkat keras terus berevolusi, dengan prosesor dan akselerator baru yang dirancang untuk AI yang muncul secara global.
Salah satu inovasi terbaru adalah prosesor Gaudi3.
Meskipun mungkin terlalu dini untuk mengadopsi produk baru dengan tergesa-gesa, tidak diragukan lagi sangat penting untuk memantau pasar dengan cermat, tetap mendapatkan informasi tentang solusi baru, dan mengeksplorasi sektor ini secara menyeluruh.
Pertanyaan-pertanyaan kunci yang perlu dipertimbangkan termasuk bagaimana penawaran baru ini berbeda secara kualitatif, perangkat lunak apa yang mampu mendukung infrastruktur seperti itu, dan apakah solusi baru tersebut dapat mengatasi tantangan yang dihadapi sistem Anda saat ini.
GPU adalah pilihan paling populer saat ini karena ketersediaan komersialnya yang luas dan performa yang tinggi.
Saat memilih GPU untuk infrastruktur AI, penting untuk mempertimbangkan persyaratan spesifik beban kerja Anda.
Hal ini termasuk menentukan apakah fokusnya adalah pada pelatihan atau inferensi, menilai ukuran dan kompleksitas model Anda, mempertimbangkan batasan anggaran, dan mengevaluasi ekosistem perangkat lunak.
GPU NVIDIA, terutama A100, H100, atau H200, sangat disukai di industri ini karena kinerjanya, dukungan perangkat lunak yang komprehensif, dan fitur akselerasi AI yang khusus.
Namun demikian, AMD dan Intel menjadi alternatif yang semakin layak, terutama dalam skenario di mana fitur unik atau efektivitas biaya mereka memberikan manfaat yang jelas.
Pertimbangan penting lainnya adalah kemampuan untuk meningkatkan sumber daya sesuai dengan tuntutan beban kerja.
Skalabilitas ini sangat penting untuk mengelola biaya dan menjaga efisiensi di berbagai tahap pengembangan dan penerapan model AI.
Untuk menggambarkan peran penting skalabilitas dalam operasi AI, pertimbangkan permintaan musiman reguler yang dihadapi oleh platform e-commerce besar.
Amazon menggunakan AI untuk mengoptimalkan berbagai aspek operasinya, termasuk manajemen inventaris, rekomendasi yang dipersonalisasi, dan logistik.
Selama periode puncak belanja seperti Black Friday atau Cyber Monday, permintaan pada sistem Amazon melonjak drastis.
Untuk menanganinya, Amazon memanfaatkan platform komputasi awan yang memungkinkan penskalaan sumber daya secara dinamis.
Skalabilitas ini sangat penting untuk menangani peningkatan lalu lintas dan manajemen biaya.
Dengan meningkatkan sumber daya hanya jika diperlukan dan mundur ketika permintaan berkurang, Amazon dapat mengelola biaya secara efisien tanpa mengorbankan kinerja.
Pendekatan ini memastikan bahwa infrastruktur tidak kurang dimanfaatkan selama waktu di luar jam sibuk dan kelebihan beban selama periode permintaan tinggi, sehingga menjaga keseimbangan optimal yang mendukung inovasi berbasis AI yang berkelanjutan dan kepuasan pelanggan.
3. Penyimpanan dan Manajemen Volume Tinggi
Sistem AI membutuhkan kemampuan untuk menyimpan dan mengelola volume data yang besar.
Hal ini membutuhkan solusi penyimpanan yang cepat dan dapat diskalakan, seperti penyimpanan objek untuk data yang tidak terstruktur dan database berkinerja tinggi untuk data terstruktur.
Akses yang cepat dan andal ke data ini sangat penting untuk pelatihan model AI yang efektif.
Untuk mencapai hal ini, Anda dapat memanfaatkan caching data tingkat lanjut, menerapkan jaringan bandwidth tinggi, dan mengimplementasikan sistem pengambilan data yang efisien.
Ceph, sebagai solusi penyimpanan, memberikan contoh fleksibilitas dan efisiensi dalam menangani volume data yang besar.
Ceph memastikan kompatibilitas dengan aplikasi yang sudah ada dan memfasilitasi integrasi dengan platform cloud, menjadikannya solusi yang hemat biaya.
Selain itu, Ceph secara signifikan mengurangi biaya yang terkait dengan penyimpanan data perusahaan dan mendukung organisasi dalam mengelola pertumbuhan data yang eksponensial. Dengan berjalan pada perangkat keras server komoditas, Ceph dapat menurunkan pengeluaran modal (CapEx) dan pengeluaran operasional (OpEx) melalui kemampuannya untuk mengelola sendiri dan melakukan penyembuhan sendiri.
Cara alternatif untuk menyediakan penyimpanan data massal dan kapasitas tinggi secara efisien adalah dengan menggunakan NVMe di atas Kain (NVMe-oF). NVMe bukanlah produk dari satu produsen saja, melainkan sebuah standar yang dapat digunakan oleh berbagai perusahaan untuk menciptakan produk dan solusi mereka.
NVMe over Fabrics (NVMe-oF) dapat secara signifikan membantu dalam membangun sistem penyimpanan data yang kuat dan hemat biaya, terutama saat performa dan skalabilitas tinggi diperlukan. NVMe-oF memanfaatkan keunggulan SSD NVMe seperti latensi rendah dan kecepatan transfer data yang tinggi melalui koneksi jaringan. Hal ini memungkinkan sistem jarak jauh untuk mengakses data hampir secepat jika perangkat penyimpanan terhubung secara lokal melalui PCIe, ideal untuk aplikasi dengan kebutuhan tinggi seperti database, beban kerja komputasi yang besar, dan pemrosesan data besar secara real-time.
Keuntungan lainnya adalah penskalaan sistem penyimpanan yang mudah dengan menambahkan lebih banyak perangkat NVMe ke jaringan tanpa kehilangan performa, sehingga organisasi dapat memenuhi kebutuhan penyimpanan data yang terus meningkat tanpa perombakan infrastruktur secara menyeluruh.
Meskipun perangkat NVMe mungkin lebih mahal daripada SSD atau HDD SATA tradisional, penggunaan NVMe-oF dapat menciptakan sistem penyimpanan yang lebih efisien dan lebih cepat.
Penghematan dicapai melalui performa yang lebih baik per perangkat, yang dapat mengurangi jumlah perangkat yang dibutuhkan serta biaya perawatan dan energi yang lebih rendah.
4. Penyedia Perangkat Lunak dan Platform Cloud
Memilih platform atau vendor cloud yang tepat adalah keputusan penting untuk infrastruktur AI. Meskipun sebagian besar platform cloud mampu mendukung beban kerja AI, pertimbangan utama haruslah kompatibilitas dengan prosesor yang dipilih untuk sistem Anda. Namun, agar infrastruktur benar-benar efektif, hal ini saja tidak cukup.
Keahlian tim infrastruktur AI sangat penting untuk mencapai kinerja yang optimal.
Terlepas dari prevalensi virtualisasi cloud, hal ini mungkin tidak selalu menjadi yang terbaik untuk sistem AI.
Model hibrida cloud, virtualisasi, dan bare metal, seperti yang ditunjukkan pada satu kasus, dapat secara efektif memenuhi tuntutan deep learning, memadukan distribusi daya komputasi dengan akses bare metal berkinerja tinggi.
Oleh karena itu, sangat penting bagi vendor untuk memahami dengan tepat tujuan sistem agar dapat menyesuaikan solusi teknologi cloud yang paling efektif.
Salah satu organisasi keuangan, JPMorgan Chase, menghadapi tantangan dalam memproses data dalam jumlah besar untuk analisis keuangan dan manajemen risiko secara real-time.
Menyadari keterbatasan virtualisasi cloud tradisional untuk beban kerja AI spesifik mereka, JPMorgan Chase mengadopsi infrastruktur cloud hybrid yang menggabungkan solusi cloud, virtualisasi, dan bare metal.
Model hibrida ini memungkinkan JPMorgan Chase memanfaatkan fleksibilitas cloud dan virtualisasi untuk skalabilitas dan efektivitas biaya, serta memanfaatkan kekuatan server bare metal untuk menangani tugas-tugas AI yang intensif dalam hal komputasi.
Server bare metal menyediakan akses langsung ke sumber daya perangkat keras, melewati biaya tambahan yang menyertai virtualisasi, yang sangat penting untuk persyaratan intensif kinerja algoritme pembelajaran mendalam yang digunakan dalam pemodelan keuangan dan penilaian risiko.
Infrastruktur harus cukup fleksibel untuk beradaptasi dengan tuntutan AI yang terus berkembang, memungkinkan penggabungan teknologi baru dan penyesuaian atau perluasan sumber daya dengan gangguan minimal.
Banyak penyedia layanan cloud menawarkan layanan AI dan pembelajaran mesin yang dapat diintegrasikan ke dalam infrastruktur AI, memberikan akses ke alat yang kuat untuk pengembangan model, pelatihan, dan penerapan.
Teknologi seperti OpenStack untuk virtualisasi dan Kubernetes untuk kontainerisasi memainkan peran penting dalam mengelola aplikasi AI.
Teknologi ini menyederhanakan penyebaran, penskalaan, dan pengoperasian beban kerja AI di berbagai lingkungan, meningkatkan kelincahan dan daya tanggap infrastruktur terhadap perubahan kebutuhan.
5. Efisiensi dan Konsumsi Energi
Memasukkan AI ke dalam infrastruktur TI meningkatkan kemampuan pemrosesan data dan eksekusi algoritme, tetapi menimbulkan masalah konsumsi energi, terutama untuk model pembelajaran mendalam yang membutuhkan daya komputasi yang signifikan. Bagian energi merupakan aspek yang paling menantang karena strategi konvensional untuk meningkatkan efisiensi energi melibatkan pendistribusian ulang beban dan mematikan kapasitas yang tidak terpakai.
Namun, dalam konteks AI, mematikan mesin dapat menjadi tantangan tersendiri dan mungkin hanya sedikit meningkatkan efisiensi energi.
Oleh karena itu, disarankan untuk fokus pada penyeimbangan kinerja dan mengidentifikasi serta mengelola komponen infrastruktur yang paling banyak mengonsumsi energi.
Dalam infrastruktur AI, ini biasanya berupa GPU, FPGA, dan komponen perangkat keras lainnya yang membutuhkan pendinginan atau pembuangan panas secara terus menerus.
Jika mengoptimalkan penggunaan energi secara langsung terbukti sulit, penghematan yang signifikan masih dapat dicapai dengan meningkatkan efisiensi sistem pendingin.
Sebagai contoh, pusat data di Islandia, seperti Borealis atau atNorth, mengilustrasikan pendekatan yang efektif untuk manajemen energi.
Memanfaatkan iklim Islandia yang sejuk dan sumber energi terbarukan yang melimpah, pusat data ini memanfaatkan pendinginan alami dan energi panas bumi, sehingga secara signifikan mengurangi kebutuhan pendinginan buatan dan karenanya menurunkan konsumsi energi keseluruhan infrastruktur AI.
Namun, beroperasi di Islandia juga menghadirkan tantangan, terutama dengan latensi jaringan dan konektivitas karena lokasinya yang terpencil.
Oleh karena itu, adalah bijaksana untuk memilih dengan cermat jenis beban kerja dan waktu proyek yang dijalankan di pusat data ini.
Beban kerja yang tidak terlalu sensitif terhadap latensi atau yang dapat dijadwalkan pada jam-jam di luar jam sibuk dapat mengoptimalkan penggunaan energi dan kinerja jaringan, memanfaatkan lingkungan Islandia yang unik sekaligus mengurangi potensi kekurangan.
Pendekatan strategis ini menggarisbawahi pentingnya perencanaan infrastruktur yang matang dalam memaksimalkan kinerja dan efisiensi energi dalam operasi AI.
Cara lain untuk mengeksplorasi peningkatan efisiensi energi adalah GPU dan TPU yang hemat energi, dan mengoptimalkan algoritme AI melalui pemangkasan model dan kuantisasi, yang merupakan kunci untuk mengurangi penggunaan energi sekaligus mempertahankan performa. Kemajuan teknologi dalam semikonduktor dan akselerator AI juga membantu menurunkan konsumsi daya.
Selain itu, mengadopsi teknologi pusat data ramah lingkungan, memanfaatkan virtualisasi dan komputasi awan, serta menggunakan penskalaan dinamis dan manajemen sumber daya yang digerakkan oleh AI dapat meningkatkan efisiensi energi dalam operasi AI dengan menyesuaikan penggunaan sumber daya dengan permintaan. Hal ini memastikan penggunaan energi yang efisien di seluruh infrastruktur TI tanpa mengorbankan kinerja.
Kesimpulannya, bagi organisasi yang ingin memanfaatkan inovasi dan mendapatkan keunggulan kompetitif, mentransformasi infrastruktur TI agar siap dengan AI sangatlah penting. Memprioritaskan peningkatan data, berinvestasi pada perangkat keras khusus, mengintegrasikan solusi cloud yang kuat, mengamankan jaringan, dan membina tim yang terampil merupakan langkah mendasar yang menjadi dasar penerapan AI yang efektif dan kemajuan teknologi di masa depan. Upaya-upaya ini memastikan keberhasilan penerapan AI dan fleksibilitas untuk beradaptasi dengan kemajuan dan peluang AI yang muncul.
Jika Anda membutuhkan bantuan ahli dalam mentransformasi infrastruktur cloud Anda, klik di sini untuk menjadwalkan konsultasi gratis dengan tim kami. Kami selalu siap membantu perusahaan untuk memaksimalkan infrastruktur cloud mereka.