Ollama на смартфоне: сервер за одной строкой и KMP-клиент для Android и iOS

⚡ Главное за 5 секунд

• Ollama открывается наружу одной переменной: OLLAMA_HOST=0.0.0.0:11434 ollama serve.
• В статье — рабочий сценарий «сервер на ноутбуке + мобильный клиент на Kotlin Multiplatform» с Koin и Ktor.
• Для iOS сборка всё равно упирается в Xcode и macOS, а HTTP придётся разрешать через NSAllowsArbitraryLoads.

🔍 Что случилось

На Хабре вышла практическая заметка о том, как поднять локальный сервер Ollama и ходить к нему с телефона. Установка — стандартная: brew install ollama на macOS или curl -fsSL https://ollama.com/install.sh | sh на Ubuntu. Дальше автор запускает сервер командой OLLAMA_HOST=0.0.0.0:11434 ollama serve, чтобы к нему можно было стучаться не только с localhost, но и с эмулятора или любого устройства в сети.

Модели тянутся через ollama pull, состояние проверяется ollama ps и ollama list. В примере из статьи видно gemma4:12b-mlx размером 7.7 GB и gemma4:e4b-mlx на 9.5 GB с пометкой PROCESSOR 100% GPU — значит, веса лежат в памяти видеокарты и генерация идёт не на CPU. Для Mac на ARM автор советует mlx-варианты моделей. Запрос проверяется обычным curl к /api/generate с полем "stream": false.

Вторая половина материала — про клиент. Новый проект на Kotlin Multiplatform с общим UI, DI на Koin, сеть на Ktor. Автор подробно разбирает разницу между глобальным startKoin и локальным koinApplication внутри Composable: второй возвращает контейнер только вам и не течёт в GlobalContext, что спасает превью в Android Studio. Для iOS всё равно нужен Xcode и macOS — KMP снимает необходимость писать UI на Swift, но не отменяет инструменты Apple. Подробности — в материале на Хабре.

🧠 Наш разбор

Спрос на такое объясняется просто: люди уже попробовали облачные чат-боты и хотят, чтобы запросы не уходили на чужой сервер. Ollama хороша ровно тем, что запускается одной командой, а дальше начинается боль — у неё нет нормального мобильного клиента. Каждый второй гайд на эту тему заканчивается словом «напишите свой». Здесь автор как раз доходит до конца и показывает, из чего такой клиент собирается.

Наша оценка: главная ценность статьи не в ollama serve, а в связке KMP + Koin + Ktor. Один UI, две платформы, знакомая Android-разработчику среда. Для человека, который уже пишет на Kotlin, порог входа низкий. Для всех остальных — нет: Xcode, подпись, macOS и правка Info.plist никуда не делись. Так что «кроссплатформенность» здесь честная только наполовину, и автор это не скрывает.

Про производительность без иллюзий: 9-гигабайтная модель, загруженная в GPU ноутбука, отвечает быстро, но телефон в этой схеме — только терминал. Считает всё равно ноутбук, и связка живёт лишь в одной Wi-Fi-сети. Выигрывают те, кому нужен приватный ассистент дома или в офисе. Проигрывают те, кто ждал автономную модель в кармане: смартфон тут ничего не вычисляет.

⚠️ Чего мы не знаем

Слабых мест в источнике хватает. Это личный опыт одного автора, а не документация. Названия моделей в примерах — gemma4, qwen3.5 — я привожу ровно как в тексте; автор не поясняет их происхождение, так что за актуальность тегов отвечать нельзя. Нет ни одного замера скорости на телефоне, ни слова про авторизацию: 0.0.0.0 открывает сервер всем в сети, а это прямой риск, если рядом есть чужая машина. И нет данных, работала ли схема с iOS в реальной сборке или только в теории.

Прогноз: в течение квартала в подобных гайдах начнут по умолчанию прописывать аутентификацию или VPN вместо голого OLLAMA_HOST=0.0.0.0, как только кто-нибудь выложит открытый инстанс в публичную сеть.

Дисклеймер: материал основан на личном опыте одного автора и не является официальной документацией Ollama.

Источник: Хабр