Efterhånden som AI-modeller gør deres vej ind i smartphones, vinder diskursen omkring datasikkerhed også hurtigt frem. Premium-enheder med dedikerede neurale behandlingsenheder er i stand til at håndtere en del af AI-opgaver på selve enheden, men er afhængige af cloud-behandling til at udføre mere krævende opgaver. Apple går også ned ad samme vej ved at outsource noget af AI-behandlingen til Open AI's servere. Hvis det er en deal breaker for dig, er der nogle løsninger derude, som du måske er interesseret i. I dag giver vi dig den nemmeste måde at køre LLM'er på din Android-telefon lokalt.
Top 10 nyttige gadgets til monsunsæsonen (2024)
Læs mere:Sådan opretter du lokal disk D i Windows 11: En trin-for-trin guide
Er MLC Chat-appen værd at prøve?
MLC Chat-appen gør det muligt at køre en række LLM'er lokalt på din Android-telefon. Det betyder selvfølgelig, at din Android-telefon skal have en dygtig processor, der er klar til opgaven. Enheder, der kører Snapdragon 8 Gen 2 eller Gen 3, burde være ideelle til denne opgave. Dette betyder dog ikke, at du ikke vil møde forsinkelser eller hikke, mens du kører sprogmodellerne ved hjælp af de begrænsede ressourcer på dit Android-flagskib.
Heldigvis har MLC Chat seks LLM'er at vælge imellem. Dette inkluderer nogle af de mere populære modeller som Llama 3, som er ansat af Meta AI. Du kan også bruge en lille sprogmodel som Microsofts Phi 2 for en meget jævnere oplevelse. Det siger sig selv, at du kun kan gennemføre tekstsamtaler med LLM'erne ved hjælp af MLC Chat. Mere krævende opgaver som billedgenerering er stadig ikke mulige kun ved brug af ressourcer på enheden.
Installer og kør lokale LLM'er på din Android-telefon ved hjælp af MLC Chat
Trin 1: InstallerMLC Chat-appen på din Android-telefonved at bruge dette link.
– –
Trin 2:Da du downloader appen fra en tredjepartskilde, skal du give din webbrowsertilladelseat downloade og installere MLC Chat fra en ukendt kilde.
Trin 3: LanceringMLC Chat-appen på din telefon.
Trin 4:Gå listen overStore sprogmodellerpå tilbud. På tidspunktet for skrivning af denne artikel er der 6 LLM'er tilgængelige på MLC Chat: Gemma 2B, Llama 2 7B, Llama 3 8B Instruct, Phi 2, Mistral 7B Instruct og RedPajama Incite Chat 3B.
Trin 5:Tryk påpil nedad ikonved siden af en sprogmodel for at downloade den til din enhed.
Trin 6:Tryk påchat-ikonat indlede en samtale med AI-modellen.
Ofte stillede spørgsmål (ofte stillede spørgsmål)
Hvordan kører jeg en AI-model på enheden på min Android-telefon?
Download MLC Chat-appen på din telefon, vælg en LLM, og tryk på chatikonet for at starte en samtale med AI-modellen. Al AI-behandling vil finde sted på din enhed og vil ikke blive outsourcet til en cloud-server.
Hvor kraftfuld skal min telefon være for at køre en AI-model på enheden?
MLC Chat-appen kræver ikke en dedikeret NPU for at køre en LLM på din telefon. Det anbefales dog, at du bruger en smartphone med et kraftfuldt chipsæt som Snapdragon 8 Gen 2 (eller nyere).
Udfører Meta AI på WhatsApp sin behandling på min enhed?
Nej, Meta AI chatbot på WhatsApp eksporterer sin behandling til en skyserver. De data, du giver den, er ikke begrænset til din enhed.
Sådan deler du adgangskoder med din familie ved hjælp af Google Password Manager (2024)
Konklusion
Sådan kan du køre LLM'er på enheden lokalt på din Android-telefon. Da LLM'er er meget strømkrævende, kan du forvente hyppige nedlukninger, mens du bruger tunge AI-modeller som Llama 2 på din enhed. Hvis din telefon mangler processorkraft, anbefaler vi at bruge en let LLM som Phi 2.