Modelli LLM offline e tascabili

[Dr. Gori]

Avete provato a mettervi sullo smartphone qualche LLM?

Con smartphone vecchi (4giga RAM) ho provato Qwen2.5-1.5B-Instruct e Deepseek r1
Abbastanza penosi come risultati

Orenguteng/Llama-3.1-8B-Lexi-Uncensored invece funziona bene

[Nordreich75]

BravA! E quella per i cetrioli, frocetta isterica, ancora niente?

[Nordreich75]

[Dr. Gori]

Ho sviluppato una IA che mi avverte con un messaggio sul cellulare se nelle vicinanze ci sono gatti

L'unica cosa che hai sviluppato è la circonferenza del retto

[Dr. Gori]

Sei talmente esaurito che mi strappi un sorriso

Adesso vai a spammare da qlkn altro

[Dr. Gori]

Dobbiamo ricordarci di non replicare a pestis, che poi restano i post di risposta.
@blobb dovreste aprire un 3d su febbre dove, di volta in volta, spostare tutto il suo spam e le nostre repliche

[blobb]

Dobbiamo ricordarci di non replicare a pestis, che poi restano i post di risposta.
@blobb dovreste aprire un 3d su febbre dove, di volta in volta, spostare tutto il suo spam e le nostre repliche

si evitate tanto dopo 10 mn che sta on line di solito viene bannato

[giondoe]

Qwen e Deepseek

Forse le versioni ridotte non sono ottimizzate... Deepseek per me il migliore.
Le AI for profit non hanno interesse ad ottimizzare i modelli sotto i 16 o i 32 B (Billions, ovvero miliardi di parametri).

Llama e pochi altri invece ottimizzano anche i modelli a 8B.

[Dr. Gori]

Forse le versioni ridotte non sono ottimizzate... Deepseek per me il migliore.
Le AI for profit non hanno interesse ad ottimizzare i modelli sotto i 16 o i 32 B (Billions, ovvero miliardi di parametri).

Llama e pochi altri invece ottimizzano anche i modelli a 8B.

@giondoe, devo ancora informarmi, ma deepseek a 32b gira anche offline?

[giondoe]

Se hai l'hardware che lo regge. Ma bastano anche modelli meno esagerati... Deepseek ha un quota di token in risposta che riempie una pagina.