Proč lokální AI? Žádné odesílání dat do cloudu, nulová latence, žádné měsíční poplatky. Ideální pro práci s citlivým materiálem (scénáře, hrubé střihy).
wsl --install # Instalace defaultního distra (Ubuntu) ve Windowssudo apt update && sudo apt upgrade # Aktualizace systémusudo apt install python3-pip python3-venv ffmpeg # Základní prerekvizity (Python + FFmpeg)nvidia-smi # Kontrola ovladačů GPU (zda vidí grafiku pro CUDA)Nejjednodušší způsob, jak rozběhat Llama 3, Mistral nebo Gemma lokálně.
curl -fsSL https://ollama.com/install.sh | sh # Instalace Ollamaollama pull llama3 # Stažení modelu Llama 3 (cca 4.7 GB)ollama run llama3 # Spuštění chatu v termináluollama serve # Spuštění API serveru (pro aplikace třetích stran)Framework od Daniela Miesslera pro efektivní využívání LLM pomocí "patterns".
sudo apt install pipx # Instalace správce balíčkůgit clone https://github.com/danielmiessler/fabric.git # Stažení repozitářecd fabric && pipx install . # Instalace Fabricufabric --setup # Nastavení (API klíče pro OpenAI / YouTube)yt --transcript "https://youtube.com/..." | fabric --pattern extract_wisdomOpenAI Whisper běží lokálně a umí přepsat audio do textu s brutální přesností. Skvělé pro tvorbu titulků k rozhovorům.
pip install openai-whisper # Instalace tooluwhisper interview.wav --model medium --language Czechwhisper audio.mp3 --model large --task translate