Di dunia teknologi yang bergerak cepat, box AI lokal bukan untuk menggantikan cloud dalam pelatihan berskala besar. Melainkan, ada tiga tujuan spesifik untuk perangkat ini: menjaga data sensitif tetap aman dari server pihak ketiga, menghindari biaya API yang diukur saat Anda berinovasi ratusan kali dalam sehari, dan mendapatkan mesin yang terprediksi dan sepenuhnya dikuasai, bukan yang dibagi atau dibatasi. Cloud GPU masih lebih unggul untuk pelatihan besar dan kapasitas luar biasa. Namun, box lokal cocok untuk prototyping, penyesuaian model kecil, dan menjalankan inferensi pada data yang tidak bisa dikirim ke mana pun. Itulah trade-off yang menentukan ekosistem mana yang sesuai dengan pekerjaan Anda.
NVIDIA, AMD, dan Apple terus menghadirkan hardware AI lokal baru secara berkesinambungan. Mari kita lihat mesin mana yang sebenarnya sesuai untuk kebutuhan Anda.
NVIDIA: Pilihan Aman yang Mahal
NVIDIA DGX Spark dilengkapi dengan 128GB memori terpadu dan chip Grace Blackwell GB10 yang berbasis CUDA, yang merupakan ekosistem perangkat lunak terdalam dan paling teruji di bidang AI. Kode PyTorch yang sudah ada, serta alur kerja TensorRT dan cuDNN dapat dijalankan tanpa modifikasi, sesuatu yang belum bisa diaplikasikan untuk dua opsi lainnya.
Keuntungannya adalah tidak perlu menulis ulang atau melakukan rekayasa balik. Jika tim Anda sudah menggunakan CUDA, ini adalah cara paling mudah untuk membawa pekerjaan itu ke lokal. Namun, bandwidth memori menjadi kelemahan: pada 273 GB/s, ini adalah yang terendah di antara ketiga opsi saat model harus memindahkan banyak data. Para reviewer terus menemukan bahwa performanya kalah dibandingkan Mac Studio dari Apple dalam hal pembuatan token murni meski perangkat lunak yang digunakan sudah matang.
Ini cocok bagi tim yang sudah mendalami CUDA dan TensorRT yang ingin prototyping secara lokal sebelum mengimplementasikannya ke infrastruktur cloud NVIDIA tanpa mengubah kode mereka. Untuk model, pikirkan versi terkuantisasi dari Llama, Qwen, dan DeepSeek dalam kisaran 70B hingga 200B, di mana optimisasi TensorRT-LLM menjadi lebih penting dibanding bandwidth mentah.
AMD: Satu Chip, Dua Produk Sangat Berbeda
Di sini, situasinya sengaja dibuat membingungkan. Chip AMD Ryzen AI Max+ 395, yang dipasarkan sebagai “PC pengembangan AI terkecil di dunia” mampu menjalankan model 200 miliar parameter secara lokal, hadir dalam dua produk yang benar-benar berbeda. PC mini pihak ketiga yang dibangun di sekitar chip yang sama, seperti GMKtec EVO-X2 dan Framework Desktop, dijual dengan harga jauh lebih rendah dibandingkan platform resmi Ryzen AI Halo Developer AMD.
LTT Labs, salah satu lembaga pengujian independen yang lebih ketat, menjelaskan dengan jelas perbedaan harga ini: premi yang dibayar membeli konfigurasi perangkat lunak yang telah dipilih oleh AMD, “AI Playbooks,” dan dukungan dari pihak pertama, bukan perangkat keras tambahan. Keuntungannya dengan rute pihak ketiga adalah harga. Anda bisa mendapatkan chip dan kumpulan memori yang sama dengan harga lebih murah jika Anda merasa nyaman mengelola perangkat lunaknya sendiri. Keuntungan dari kit resmi AMD adalah lapisan dukungan itu, ditambah janji pemeliharaan driver dan playbook yang berkelanjutan. Namun, kelemahannya di kedua jalur adalah kecepatan mentah: LTT Labs menemukan bahwa “Apple Silicon Mac Studios lebih unggul daripada mesin AMD Ryzen AI Max+ 395,” menghasilkan token dua hingga tiga kali lebih lambat dalam pengujian mereka.
Ada juga perangkap perangkat lunak, yang spesifik pada sistem operasi. ROCm, jawaban AMD untuk CUDA, masih jauh lebih matang di Linux dibandingkan di Windows. Dukungan Windows berjalan melalui WSL dan lapisan kompatibilitas yang lebih baru yang baru-baru ini diperluas ke lebih banyak perangkat keras Ryzen, sedangkan Linux sudah mendapatkan akses langsung yang lebih baik selama ini. Ini cocok untuk pengembang yang memperhatikan anggaran dan ingin kolam memori besar untuk eksperimen pelatihan dan penyesuaian di Linux, tanpa memerlukan alat khusus dari NVIDIA. Di sisi model, AMD sebenarnya sudah mengarah ke sini: Ryzen AI Max+ 395 adalah prosesor konsumen pertama yang menjalankan gpt-oss 120B dari OpenAI, yang membutuhkan sekitar 61GB memori pada presisi MXFP4 dan berjalan pada 30 token per detik di konfigurasi 128GB.
Apple: Pemenang Tenang dalam Hal Bandwidth
Mac Studio dari Apple dilengkapi chip M5 Max dengan maksimal 128GB memori terpadu, atau M5 Ultra dengan kapasitas hingga 512GB. Perbedaan sebenarnya terletak pada bandwidth memori, dan penting untuk dicatat di sini bahwa kedua chip tidak sama: M5 Max mencapai hingga 614 GB/s, sementara M5 Ultra menggandakan itu menjadi 1.2 TB/s. Bahkan tingkat yang lebih rendah pun mengalahkan pilihan lokal NVIDIA dan AMD dalam memindahkan data model, yang menjelaskan kenapa reviewer terus mencatat Mac Studio unggul dalam inferensi lokal meskipun Apple tidak pernah memasarkan chip ini sebagai akselerator AI terlebih dahulu.
Keuntungannya adalah bandwidth, ditambah batas memori (512GB pada model Ultra) yang memungkinkan Anda memuat model yang tidak dapat ditampung oleh kedua mesin lainnya tanpa penquantization berat. Namun, kelemahannya adalah ekosistem: Kode Anda perlu berjalan melalui tumpukan Apple, bukan CUDA atau ROCm, yang menjadi biaya nyata jika alat tim Anda sudah mengasumsikan salah satu dari itu. Meskipun demikian, ini tidak berarti semua harus ditulis dalam MLX. Kebanyakan orang yang menjalankan model di Mac hanya memuat file GGUF langsung melalui backend Metal llama.cpp, Ollama, atau LM Studio, yang semuanya langsung berfungsi. MLX baru menjadi penting jika Anda mengoptimalkan khusus untuk Apple Silicon.
Ini cocok untuk pengembang yang lebih memperhatikan kecepatan inferensi dan ukuran model daripada kompatibilitas ekosistem. Untuk model, 512GB cukup untuk menjalankan model 70B tanpa penquantization, yang adalah keuntungan nyata dibandingkan kedua mesin lainnya. Namun, itu tidak cukup untuk model-model terbuka terbesar.
Kesimpulan
Tidak ada dari ketiga opsi ini yang bisa dijadikan jawaban universal. Jika kode Anda sudah berjalan pada CUDA, NVIDIA menghilangkan risiko terbesar. Jika Anda ingin memaksimalkan memori sesuai anggaran dan nyaman dengan Linux, ekosistem AMD, baik kit resmi atau papan pihak ketiga, bisa jadi pilihan lebih murah. Jika Anda mencari inferensi tercepat dan tidak keberatan menjauh dari CUDA dan ROCm, Apple secara diam-diam unggul dalam pengujian. Pilih ekosistem yang sudah menjadi dasar kerja Anda terlebih dahulu. Perbandingan hardware hanya menjadi penting setelah itu.
