Nu AI-modellen hun weg vinden naar smartphones, wint ook het discours rond gegevensbeveiliging snel aan kracht. Premium-apparaten met speciale Neural Processing Units kunnen een deel van de AI-taken op het apparaat zelf uitvoeren, maar zijn afhankelijk van cloudverwerking om veeleisender taken uit te voeren. Apple bewandelt ook dezelfde route door een deel van de AI-verwerking uit te besteden aan de servers van Open AI. Als dat voor u een dealbreaker is, zijn er enkele oplossingen waarin u wellicht geïnteresseerd bent. Vandaag bieden we u de eenvoudigste manier om LLM's lokaal op uw Android-telefoon uit te voeren.
Top 10 handige gadgets voor het moessonseizoen (2024)
Lees meer:Lokale schijf D maken in Windows 11: een stapsgewijze handleiding
Is de MLC Chat-app het proberen waard?
De MLC Chat-app maakt het mogelijk om een reeks LLM's lokaal op uw Android-telefoon uit te voeren. Dit betekent natuurlijk dat je Android-telefoon een capabele processor moet hebben die deze taak aankan. Apparaten met Snapdragon 8 Gen 2 of Gen 3 zouden ideaal moeten zijn voor deze taak. Dit betekent echter niet dat u geen vertragingen of haperingen zult ondervinden bij het uitvoeren van de taalmodellen met behulp van de beperkte bronnen op uw Android-vlaggenschip.
Gelukkig heeft MLC Chat zes LLM's om uit te kiezen. Dit omvat enkele van de meer populaire modellen zoals Llama 3, die wordt gebruikt door Meta AI. Je kunt ook een Small Language Model zoals Microsoft's Phi 2 gebruiken voor een veel soepelere ervaring. Het spreekt voor zich dat u alleen tekstgesprekken kunt voeren met de LLM's via MLC Chat. Meer veeleisende taken zoals het genereren van afbeeldingen zijn nog steeds niet mogelijk met alleen bronnen op het apparaat.
Installeer en voer lokale LLM's uit op uw Android-telefoon met behulp van MLC Chat
Stap 1: Installerende MLC Chat-app op uw Android-telefoonmet behulp van deze link.
– –
Stap 2:Omdat u de app downloadt van een bron van derden, moet u uw webbrowser opgeventoestemmingom MLC Chat van een onbekende bron te downloaden en te installeren.
Stap 3: Launchde MLC Chat-app op uw telefoon.
Stap 4:Doorloop de lijst metGrote taalmodellenaangeboden. Op het moment dat dit artikel wordt geschreven, zijn er 6 LLM's beschikbaar op MLC Chat: Gemma 2B, Llama 2 7B, Llama 3 8B Instruct, Phi 2, Mistral 7B Instruct en RedPajama Incite Chat 3B.
Stap 5:Raak deneerwaartse pijlpictogramnaast een taalmodel om het naar uw apparaat te downloaden.
Stap 6:Tik op dechat-pictogramom een gesprek met het AI-model te beginnen.
Veelgestelde vragen (FAQ's)
Hoe voer ik een AI-model op het apparaat uit op mijn Android-telefoon?
Download de MLC Chat-app op uw telefoon, selecteer een LLM en klik op het chatpictogram om een gesprek met het AI-model te beginnen. Alle AI-verwerking vindt plaats op uw apparaat en wordt niet uitbesteed aan een cloudserver.
Hoe krachtig moet mijn telefoon zijn om een AI-model op het apparaat te kunnen gebruiken?
De MLC Chat-app vereist geen speciale NPU om een LLM op uw telefoon uit te voeren. Het is echter aan te raden om een smartphone te gebruiken met een krachtige chipset zoals de Snapdragon 8 Gen 2 (of hoger).
Voert Meta AI op WhatsApp de verwerking uit op mijn apparaat?
Nee, de Meta AI-chatbot op WhatsApp exporteert de verwerking naar een cloudserver. De gegevens die u invoert, zijn niet beperkt tot uw apparaat.
Wachtwoorden delen met uw gezin met Google Wachtwoordmanager (2024)
Conclusie
Zo kunt u LLM's op het apparaat lokaal op uw Android-telefoon uitvoeren. Omdat LLM's veel energie vragen, kunt u erop rekenen dat u regelmatig wordt afgesloten als u zware AI-modellen zoals Llama 2 op uw apparaat gebruikt. Als uw telefoon niet over de verwerkingskracht beschikt, raden we u aan een lichte LLM zoals Phi 2 te gebruiken.