02 / 05 · EdTech · AIБоловсрол · AI · 2026
Gamified English-learning app for Mongolian students and schools. I built the AI Buddy — a 3D avatar that talks back with real-time lip-sync — and much of the mobile experience.Монгол сурагч, сургуулиудад зориулсан тоглоомжуулсан англи хэл сурах апп. Бодит цагийн уруулын синктэй ярьдаг 3D аватар — AI Buddy болон мобайл туршлагын томоохон хэсгийг би бүтээсэн.
faster AI Buddy repliesхурдан AI Buddy хариу
merged pull requestsmerge хийсэн PR
ARKit blendshapes for lip-syncуруулын синкийн blendshape
people on the teamхүний баг
SparkXP teaches English through lessons, reading, quizzes and spaced-repetition vocabulary, wrapped in XP, streaks and leaderboards. Teachers run classes and assignments; the AI Buddy gives students someone to practise speaking with.SparkXP нь хичээл, унших, сорил, давталтын аргатай үгсийн сангаар англи хэл заадаг бөгөөд XP, streak, leaderboard-оор тоглоомжуулсан. Багш нар анги, даалгавар удирддаг; AI Buddy сурагчдад ярих дадлага хийх түнш болдог.
Speaking practice is the hardest part of learning English, and the first AI Buddy felt slow — a spoken reply took about 8.6 seconds end to end, which breaks the feeling of a conversation.Ярих дадлага бол англи хэл сурахын хамгийн хэцүү хэсэг. Анхны AI Buddy удаан байсан — дуут хариу эхнээс дуустал 8.6 секунд орчим болдог тул яриа шиг санагддаггүй байв.
I replaced the emoji buddies with a 3D GLB avatar driven by 34 ARKit blendshapes for lip-sync and emotion, synced to Azure HD Voice visemes, and moved speech to Gemini STT/TTS with streamed audio. Then I cut the critical path in five phases — loading the avatar once, removing eight round trips and adding an STT timeout.Emoji buddy-г уруулын синк, сэтгэл хөдлөлийг 34 ARKit blendshape-ээр удирддаг, Azure HD Voice viseme-тэй синк хийсэн 3D GLB аватараар сольж, яриаг урсгалт аудиотой Gemini STT/TTS руу шилжүүлсэн. Дараа нь эгзэгтэй замыг таван шатаар богиносгосон — аватарыг нэг удаа ачаалах, найман round trip хасах, STT timeout нэмэх.
AI Buddy reply latency dropped from 8,565 ms to 3,583 ms (−58%). Alongside it I shipped speaking exercises, gamification, an island world map, the v2 mobile redesign and an app-wide light/dark theme.AI Buddy-ийн хариуны хугацаа 8,565 мс-ээс 3,583 мс болж буурсан (−58%). Үүнтэй зэрэгцэн ярих дасгал, тоглоомжуулалт, арлын ертөнцийн газрын зураг, мобайлын v2 шинэчлэл, бүх аппын гэрэл/харанхуй горимыг гаргасан.
6-person team at Aether Tech Core LLC — 34 of my pull requests merged.Aether Tech Core LLC-ийн 6 хүний баг — миний 34 pull request merge хийгдсэн.
Student and teacher app: lessons, quizzes, vocabulary, leaderboards and the AI Buddy.Сурагч, багшийн апп: хичээл, сорил, үгсийн сан, leaderboard, AI Buddy.
3D avatar with viseme lip-sync, Gemini STT/TTS and streamed audio.Viseme уруулын синк, Gemini STT/TTS, урсгалт аудиотой 3D аватар.
Auth, lessons, gamification and limits on PostgreSQL and Redis.PostgreSQL, Redis дээрх нэвтрэлт, хичээл, тоглоомжуулалт, хязгаарлалт.
Content, the words AI pipeline, buddies and usage limits.Контент, үгсийн AI pipeline, buddy, хэрэглээний хязгаар.
Mobile app and admin dashboard run locally on demo data — no production data is shown.Мобайл апп болон админ самбарыг демо өгөгдөлтэйгээр локал дээр ажиллуулж авсан — production өгөгдөл харуулаагүй.
Measured phase by phase: 8,565 ms 3,583 ms for a full spoken reply.Шат бүрээр хэмжсэн: бүтэн дуут хариу 8,565 мс 3,583 мс.
34 ARKit blendshapes follow Azure HD Voice visemes, so the mouth matches the words.34 ARKit blendshape нь Azure HD Voice viseme-ийг дагадаг тул ам үгтэй таарна.
The GLB avatar is downloaded once and its render was slimmed for low-end phones.GLB аватарыг нэг удаа татаж, сул утсанд зориулж рендэрийг хөнгөлсөн.
A QA pass made every screen responsive and added a reactive language and theme setting.QA-гаар бүх дэлгэцийг responsive болгож, хэл ба горимын тохиргоо нэмсэн.
Next projectДараагийн төсөл
SportHubWant something like this? Let's talkҮүн шиг зүйл хэрэгтэй юу? Ярилцъя