nexa-bridge: Rust-прокси выведет vLLM и Ollama из-за NAT без проброса портов

⚡ Главное за 5 секунд - NexaEthos опубликовала nexa-bridge — OpenAI-совместимый прокси на Rust с исходящим туннелем для vLLM, Ollama, LM Studio и llama.cpp. - Машина с моделями остаётся за NAT: открывать порты и настраивать проброс не требуется, подключение идёт наружу. - Прокси выставляет локальные модели как OpenAI-совместимый эндпоинт; установка и код — в репозитории NexaEthos/nexa-bridge на GitHub. ### 🔍 Что обнаружено На GitHub появился проект NexaEthos/nexa-bridge — мост между локальной машиной с моделями и платформой Nexa Agora. Как указано в описании репозитория, это написанный на Rust прокси с OpenAI-совместимым API и исходящим (outbound) туннелем. Заявленная поддержка бэкендов — vLLM, Ollama, LM Studio и llama.cpp. Ключевая особенность: машина может находиться за NAT, порт открывать не нужно — туннель поднимается изнутри сети, а не снаружи. Схема работы, если следовать описанию, двухслойная: локальный сервер инференса (любой из перечисленных) остаётся как есть, прокси принимает его запросы и отдаёт наружу через исходящее соединение, а внешняя сторона видит стандартный OpenAI-совместимый интерфейс. То есть клиентам не нужно знать ни про конкретный бэкенд, ни про то, что сервер спрятан за NAT — они обращаются к привычному API-формату. Каких-либо номеров версий, тегов релиза или конкретных флагов в описании повода не приводится, поэтому детали конфигурации и параметры туннеля стоит смотреть в самом репозитории. ### 💡 Почему это важно Самостоятельный хостинг LLM упирается не столько в железо, сколько в сеть: чтобы отдать модель клиентам снаружи, обычно нужен проброс портов, белый IP или как минимум VPN — а на домашнем подключении или в закрытом корпоративном периметре это отдельная головная боль. nexa-bridge решает именно эту часть задачи, не трогая сам инференс: vLLM, Ollama, LM Studio и llama.cpp остаются работать на своей машине, а наружу уходит только исходящее соединение. Второй практический плюс — привязка к OpenAI-совместимому API: существующие клиенты и SDK не требуют переписывания под новый формат. Насколько гладко это работает на практике — вопрос к самому репозиторию, публичных тестов и цифр производительности в описании проекта не заявлено.