Apples chefer avslöjar AI bakom Math Notes handskriftsigenkänning

Apples banbrytande Math Notes i iPadOS 18 förändrar hur du hanterar beräkningar. Denna innovativa funktion går utöver Calculator-appen och integreras sömlöst med Notes för enkel budgetering, utgiftsspårning och mer. I en intervju nyligen grävde Apples chefer Ty Jordan och Jenny Chen i utvecklingen och funktionerna för Math Notes och Smart Script.

Math Notes låter användare skriva ekvationer för hand, som appen sedan löser omedelbart. Den här funktionen är utformad för att utnyttja den naturliga ingången från Apple Pencil, kombinerat med maskininlärningsmodeller på enheten och kraften i Apple Silicon, vilket ger en nästan magisk användarupplevelse. Användare kan skriva ekvationer i Notes, som att lista utgifter, och låta Math Notes beräkna totalsummorna. Denna funktionalitet gör dagliga uppgifter som budgetering enklare och effektivare.

Mer läsning:Apples chefer diskuterar Macs uppgång som ett kraftpaket för spel i en ny intervju

Intervjun belyste hur Math Notes sträcker sig bortom enkla beräkningar. Till exempel, när de är på semester kan användare använda en delad anteckning för att spåra utgifter utan att upprepade gånger komma åt bankappar. Den offentliga betaversionen av iOS 18 inkluderar inte Apple Intelligence-funktioner, men framtida förbättringar förväntas integrera beräkningar med andra iOS-element som Siri och Mail, vilket ytterligare ökar användbarheten av Math Notes.

Förutom Math Notes introducerar iPadOS 18 Calculator-appen för iPad, designad för att vara den bästa i sin kategori. Apple tog sig tid att ompröva hur användare kunde utföra matematik, och integrerade Math Notes och Calculator för att dra nytta av de unika funktionerna hos iPad och Apple Pencil. Ty Jordan förklarade att företaget hade som mål att skapa en sömlös och intuitiv upplevelse genom att kombinera handskriftsigenkänning med maskininlärning.

Jenny Chen utvecklade tekniken bakom Math Notes och betonade dess rötter i Scribble-funktionen, som känner igen och konverterar handstil till maskinskriven text. Math Notes bygger på denna teknik genom att inte bara känna igen utan också syntetisera text som liknar användarens handstil. Detta gör det möjligt att manipulera handskriven text, som att flytta runt ord i ett stycke.

Smart Script, en annan funktion som diskuterades i intervjun, använder maskininlärning för att förfina och förbättra handstilen. När användare skriver rätar och jämnar Smart Script ut text, vilket gör den mer läsbar samtidigt som den personliga touchen av användarens handstil bevaras. Den erbjuder också stavningskontroll och kontextuella förslag, vilket förbättrar den övergripande anteckningsupplevelsen. Möjligheten att klistra in maskinskriven text som handskriven text och återflöda text i ett stycke ger en ny nivå av funktionalitet för handskrivna anteckningar.

Kolla in hela intervjun nedan: