NVIDIA ha appena rilasciato la prima demo di Chat with RTX, un chatbot basato sull'intelligenza artificiale generativa simile a ChatGPT, Copilot o Bard Gemini - ma in grado di funzionare completamente in locale grazie alla potenza delle schede video GeForce RTX di NVIDIA stessa - o per lo meno la maggior parte di esse.
Per prima cosa utilizza modelli locali e open source testati "su strada", quindi con prestazioni buone e predicibili, seconda cosa funziona (giustamente) con un RAG, ovvero costruisce un database di embeddings dei file che gli diciamo e li collega ad ogni embedding, in pratica non è come quando si manda un file txt a chatgpt che lo "legge" e riassume, in questo caso il database viene usato come fonte per la generazione dei testi, senza troppe "rielaborazioni" e "summary", con ovviamente la possibilità di citare verbatim e linkare il file d'origine nella risposta.
