Diposting oleh Ty Darra – Manajer Produk
Gemini, yang diperkenalkan tahun lalu, adalah keluarga model Google yang paling mumpuni; dirancang untuk fleksibilitas, dapat berjalan di segala hal mulai dari pusat data hingga perangkat seluler. Sejak mengumumkan Gemini Nano, model kami yang paling efisien yang dibuat untuk tugas di perangkat, kami telah bekerja sama dengan sejumlah mitra terbatas untuk mendukung berbagai kasus penggunaan aplikasi mereka.
Hari ini, kami membuka akses bereksperimen dengan Gemini Nano untuk semua pengembang Android dengan AI Edge SDK melalui AICore. Pengembang pada awalnya akan memiliki akses untuk bereksperimen dengan kueri teks-ke-teks pada perangkat seri Pixel 9. Dukungan untuk lebih banyak perangkat dan modalitas akan ditambahkan di masa mendatang. Lihat dokumentasi dan video kami untuk memulai. Perhatikan bahwa pendekatan eksperimental adalah untuk tujuan pengembangan dan bukan untuk penggunaan produksi saat ini.
AI pada perangkat yang cepat, privat, dan hemat biaya
Proses AI generatif pada perangkat memerlukan langsung di perangkat Anda tanpa panggilan server. Ini menawarkan banyak keuntungan: data sensitif pengguna diproses secara lokal di perangkat, fungsionalitas penuh tanpa koneksi internet dan tidak ada biaya moneter tambahan untuk setiap kesimpulan.
Karena model AI generatif pada perangkat berjalan pada perangkat dengan daya komputasi yang lebih kecil dibandingkan server cloud, model tersebut jauh lebih kecil dan kurang umum dibandingkan perangkat berbasis cloud. Hasilnya, model ini berfungsi paling baik untuk tugas-tugas yang persyaratannya dapat ditentukan dengan jelas, dibandingkan untuk kasus penggunaan terbuka seperti chatbots. Berikut beberapa kasus penggunaan yang dapat Anda coba:
Penulisan Ulang – Menulis ulang dan menulis ulang teks untuk mengubah nada menjadi lebih santai atau formal. Jawaban Cerdas – Mengingat beberapa pesan obrolan di thread, sarankan kemungkinan jawaban berikut. Proofreading – Menghapus kesalahan ejaan atau tata bahasa dari teks. Ringkasan – menghasilkan ringkasan dokumen yang panjang, baik dalam bentuk paragraf atau dalam bentuk bullet.
Lihat strategi insentif kami untuk mendapatkan hasil terbaik saat bereksperimen dengan kasus penggunaan di atas. Jika Anda ingin menguji kasus penggunaan Anda sendiri, Anda dapat mengunduh contoh aplikasi kami untuk cara mudah mulai bereksperimen dengan Gemini Nano.
Performa dan penggunaan Gemini Nano
Dibandingkan pendahulunya, model yang tersedia untuk pengembang saat ini (disebut “Nano 2” dalam karya akademis) membawa peningkatan kualitas yang signifikan. Hampir dua kali lipat ukuran pendahulunya (“Nano 1”), ia unggul dalam tolok ukur akademis dan aplikasi dunia nyata, menawarkan kemampuan yang menyaingi model yang jauh lebih besar.
MMLU (5 tembakan)*
MATEMATIKA (4 pukulan)*
parafrase**
Jawaban Cerdas**
nano 1
46%
14%
44%
44%
nano 2
56%
23%
90%
82%
** Persentase jawaban yang baik diukur pada kumpulan data publik melalui autorater yang menjalankan Gemini 1.5 Pro.
Gemini Nano sudah menggunakan aplikasi Google. Tangkapan Layar Piksel, Komentar Balik, Perekam, dan banyak lainnya telah memanfaatkan pemahaman teks dan gambar Gemini Nano untuk menghadirkan pengalaman baru:
Komentar Balik – Aplikasi aksesibilitas Android menggunakan kemampuan multimodal Gemini Nano untuk menyempurnakan deskripsi gambar bagi pengguna tunanetra dan tunanetra.
Perekam Piksel – Gemini Nano dengan model Multimodalitas memberikan dukungan untuk perekaman yang lebih panjang dan ringkasan kualitas yang lebih baik.
Integrasi model yang mulus dengan AI Edge SDK menggunakan AICore
Mengintegrasikan model AI generatif langsung ke dalam aplikasi seluler merupakan suatu tantangan karena memerlukan sumber daya komputasi dan penyimpanan yang signifikan. Untuk menjawab tantangan ini, kami mengembangkan AICore, layanan sistem baru di Android. AICore memungkinkan Anda memanfaatkan AI yang berjalan langsung di perangkat tanpa harus mendistribusikan sendiri runtime, model, dan komponen lainnya.
Untuk melakukan inferensi dengan Gemini Nano di AICore, gunakan AI Edge SDK. AI Edge SDK memungkinkan pengembang untuk menyesuaikan kueri dan parameter inferensi dengan kebutuhan spesifik mereka, sehingga memungkinkan kontrol yang lebih besar atas setiap inferensi.
Untuk bereksperimen dengan AI Edge SDK, tambahkan hal berikut ke dependensi aplikasi Anda:
penerapan(“com.google.ai.edge.aicore:aicore:0.0.1-ekp01”)
AI Edge SDK memungkinkan Anda menyesuaikan parameter inferensi. Beberapa parameter yang paling umum digunakan meliputi:
Suhu, yang mengontrol keacakan. Nilai yang lebih tinggi meningkatkan variasi dan kreativitas hasil. Top K, yang menentukan berapa banyak chip dari peringkat tertinggi yang harus dipertimbangkan. Jumlah kandidat, yang menjelaskan jumlah maksimum respons yang akan dikembalikan. Token keluaran maksimum, yaitu panjang respons yang diinginkan.
Saat Anda siap menjalankan inferensi dengan model Anda, AI Edge SDK menyediakan cara mudah untuk meneruskan beberapa string sebagai input untuk mengakomodasi data inferensi yang panjang.
Berikut ini contohnya:
scope.launch { // Prompt input string tunggal val input = “Saya ingin Anda bertindak seperti korektor bahasa Inggris. Saya akan memberi Anda teks dan saya ingin Anda memeriksanya untuk kesalahan ejaan, tata bahasa, atau tanda baca . Setelah Anda selesai meninjau teks, berikan saya semua koreksi yang diperlukan atau saran untuk memperbaiki teks: Ini tidak droid yang kamu cari.” val respon = generativeModel.generateContent(input) print(response.tekt) // Atau beberapa string sebagai input val respon = generativeModel.generateContent( content { tekt(“Saya ingin Anda menjadi korektor dalam bahasa Inggris. Saya akan memberi Anda teks dan Saya ingin Anda meninjaunya untuk ejaan, tata bahasa, atau tanda baca error.”) tekt(“Ketika Anda selesai meninjau teks, kirimkan saya koreksi atau saran yang diperlukan untuk memperbaiki teks:”) tekt(“Ini bukan droid yang Anda cari.”) } ) print(response. teks) }
Panduan integrasi kami berisi informasi lebih lanjut tentang AI Edge SDK, serta petunjuk langkah demi langkah untuk mulai bereksperimen dengan Gemini Nano. Untuk mempelajari lebih lanjut tentang dorongan, lihat Strategi untuk Mendorong Gemini.
Mulailah
Pelajari lebih lanjut tentang Gemini Nano untuk pengembangan aplikasi dengan menonton video tutorial kami dan coba pendekatan eksperimental Gemini Nano di aplikasi Anda hari ini.
Kami sangat senang melihat apa yang Anda buat dan menyambut masukan Anda saat mengevaluasi teknologi baru ini untuk kasus penggunaan Anda! Posting kreasi Anda di media sosial dan sertakan hashtag #AndroidAI untuk membagikan karya Anda. Untuk membagikan ide dan masukan Anda tentang GenAI di perangkat dan membantu membentuk API kami, Anda dapat mengirimkan permohonan.
Masih banyak lagi yang kami bahas minggu ini untuk membangun pengalaman AI yang luar biasa di Android, jadi pastikan untuk memeriksa konten AI lainnya di Android Spotlight Week!
