Etter hvert som AI-modeller kommer inn i smarttelefoner, øker også diskursen rundt datasikkerhet raskt. Premium-enheter med dedikerte nevrale prosesseringsenheter er i stand til å håndtere en del av AI-oppgavene på selve enheten, men er avhengige av skybehandling for å utføre mer krevende oppgaver. Apple går også ned samme rute ved å sette ut noe av AI-behandlingen til Open AIs servere. Hvis det er en avtalebryter for deg, er det noen løsninger der ute som du kan være interessert i. I dag gir vi deg den enkleste måten å kjøre LLM på Android-telefonen din lokalt.
Topp 10 nyttige dingser for monsunsesongen (2024)
Les mer:Hvordan lage lokal disk D i Windows 11: En trinn-for-trinn-veiledning
Er MLC Chat-appen verdt å prøve?
MLC Chat-appen gjør det mulig å kjøre en rekke LLM-er lokalt på Android-telefonen din. Dette betyr selvfølgelig at Android-telefonen din må ha en dyktig prosessor som er opp til oppgaven. Enheter som kjører Snapdragon 8 Gen 2 eller Gen 3 bør være ideelle for denne oppgaven. Dette betyr imidlertid ikke at du ikke vil møte etterslep eller hikke mens du kjører språkmodellene ved å bruke de begrensede ressursene på Android-flaggskipet ditt.
Heldigvis har MLC Chat seks LLM-er å velge mellom. Dette inkluderer noen av de mer populære modellene som Llama 3 som er ansatt av Meta AI. Du kan også bruke en liten språkmodell som Microsofts Phi 2 for en mye jevnere opplevelse. Det sier seg selv at du kun kan gjennomføre tekstsamtaler med LLM-ene ved å bruke MLC Chat. Mer krevende oppgaver som bildegenerering er fortsatt ikke mulig kun ved bruk av ressurser på enheten.
Installer og kjør lokale LLM-er på Android-telefonen din ved å bruke MLC Chat
Trinn 1: InstallerMLC Chat-appen på Android-telefonen dinved å bruke denne linken.
– –
Trinn 2:Siden du laster ned appen fra en tredjepartskilde, må du oppgi nettleseren dintillatelsefor å laste ned og installere MLC Chat fra en ukjent kilde.
Trinn 3: LanseringMLC Chat-appen på telefonen din.
Trinn 4:Gå gjennom listen overStore språkmodellerpå tilbud. På tidspunktet for skriving av denne artikkelen er det 6 LLM-er tilgjengelig på MLC Chat: Gemma 2B, Llama 2 7B, Llama 3 8B Instruct, Phi 2, Mistral 7B Instruct og RedPajama Incite Chat 3B.
Trinn 5:Trykk påpil ned-ikonetved siden av en språkmodell for å laste den ned på enheten din.
Trinn 6:Trykk påchat-ikonetå starte en samtale med AI-modellen.
Ofte stilte spørsmål (FAQs)
Hvordan kjører jeg en AI-modell på enheten på Android-telefonen min?
Last ned MLC Chat-appen på telefonen, velg en LLM, og trykk på chat-ikonet for å starte en samtale med AI-modellen. All AI-behandling vil finne sted på enheten din og vil ikke bli outsourcet til en skyserver.
Hvor kraftig må telefonen min være for å kjøre en AI-modell på enheten?
MLC Chat-appen krever ikke en dedikert NPU for å kjøre en LLM på telefonen. Det anbefales imidlertid at du bruker en smarttelefon med et kraftig brikkesett som Snapdragon 8 Gen 2 (eller nyere).
Utfører Meta AI på WhatsApp behandlingen på enheten min?
Nei, Meta AI chatbot på WhatsApp eksporterer behandlingen til en skyserver. Dataene du mater den er ikke begrenset til enheten din.
Slik deler du passord med familien din ved hjelp av Google Password Manager (2024)
Konklusjon
Slik kan du kjøre LLM-er på enheten lokalt på Android-telefonen din. Siden LLM-er er svært strømkrevende, kan du forvente hyppige nedleggelser mens du bruker tunge AI-modeller som Llama 2 på enheten din. Hvis telefonen din mangler prosessorkraft, anbefaler vi å bruke en lett LLM som Phi 2.