Nemotron 3.5 Lightning е отворен модел със смес от експерти, строен да върви локално: на RTX компютър, не в чужд облак. До него върви NeMo Switchyard, отворен маршрутизатор между модели.
- На 11 август NVIDIA пусна Nemotron 3.5 Lightning: 30 милиарда параметра, архитектура смес от експерти, отворени тегла под лиценз на NVIDIA.
- По данни на компанията токените излизат четири пъти по-бързо от предишното поколение. Върви на RTX компютри и Jetson, с интеграции в Ollama, llama.cpp, vLLM и LM Studio.
- Заедно с него излиза NeMo Switchyard: отворен маршрутизатор, който праща заявката към подходящия модел.
Нашата станция държи карта от предишното десетилетие и таванът й за локални модели ми е болезнено познат. Затова тази обява я четох два пъти.
Смес от експерти на прост език: моделът е голям, но за всяка заявка се събужда малка част от него. Затова 30 милиарда параметра могат да дишат на карта, на която плътен модел от същия ръст не се събира.
Едно уточнение преди възторга: отворени тегла и отворен код не са едно и също. Лицензът е на NVIDIA, не Apache. За игра вкъщи разлика няма. Строиш ли продукт върху него, прочети лиценза преди първия ред код.
Сметката е проста: токени без наем. Електричеството и без това си го плащаш.