2 days ago
8
Jakarta, Selular.ID – DeepSeek telah menguasai dunia seluler dan kini telah merambah ke Windows, dengan dukungan dari Microsoft.
Sebelumnya, raksasa perangkat lunak tersebut menambahkan model DeepSeek R1 ke Azure AI Foundry miliknya untuk memungkinkan para pengembang menguji dan membangun aplikasi dan layanan berbasis cloud dengannya.
Sekarang, Microsoft mengumumkan mereka akan menghadirkan versi penyaringan R1 ke PC Copilot+.
Model penyortiran tersebut pertama-tama akan tersedia untuk perangkat yang ditenagai oleh chip Snapdragon X, yang menggunakan prosesor Intel Core Ultra 200V dan kemudian PC berbasis AMD Ryzen AI 9.
Model pertama adalah DeepSeek-R1-Distill-Qwen-1.5B (yaitu model dengan parameter 1,5 miliar) dengan model 7B dan 14B yang lebih besar dan lebih mumpuni yang akan segera hadir.
Model-model ini akan tersedia untuk diunduh dari Microsoft’s AI Toolkit.
Baca Juga: Terungkap, DeepSeek Gunakan Chip AI Huawei
Microsoft harus menyempurnakan model-model ini untuk mengoptimalkannya agar dapat berjalan pada perangkat dengan NPU.
Operasi yang sangat bergantung pada akses memori berjalan pada CPU, sementara operasi yang membutuhkan banyak komputasi seperti blok transformer berjalan pada NPU.
Dengan pengoptimalan tersebut, Microsoft berhasil mencapai waktu yang cepat untuk token pertama (130 ms) dan tingkat throughput 16 token per detik untuk perintah singkat (di bawah 64 token).
Perhatikan bahwa “token” mirip dengan vokal (yang penting, satu token biasanya lebih dari satu karakter).
Microsoft adalah pendukung kuat dan sangat berinvestasi dalam OpenAI (pembuat ChatGPT dan GPT-4o), tetapi tampaknya tidak pilih kasih – Azure Playground-nya memiliki model GPT (OpenAI), Llama (Meta), Mistral (perusahaan AI), sekarang juga DeepSeek.
Bagaimanapun, jika Anda lebih menyukai AI lokal, unduh AI Toolkit untuk VS Code terlebih dahulu.
Dari sana, Anda seharusnya dapat mengunduh model secara lokal (misalnya “deepseek_r1_1_5” adalah model 1.5B).
Terakhir, klik Coba di Playground dan lihat seberapa pintar versi sulingan R1 ini.
Baca Juga: DeepSeek jadi Startup AI Tiongkok Nomor Wahid Global
“Distilasi model”, terkadang disebut “distilasi pengetahuan”, adalah proses mengambil model AI yang besar (DeepSeek R1 lengkap memiliki 671 miliar parameter) dan mentransfer sebanyak mungkin pengetahuannya ke model yang lebih kecil (misalnya 1,5 miliar parameter).
Ini bukan proses yang sempurna dan model sulingan kurang mampu dibandingkan model lengkap – tetapi ukurannya yang lebih kecil memungkinkannya untuk berjalan langsung pada perangkat keras konsumen (alih-alih perangkat keras AI khusus yang harganya puluhan ribu dolar).
Baca Juga: Tak Mau Ketinggalan, Microsoft Hadirkan Model AI DeepSeek di Layanan Cloudnya
