apt update && yes | apt upgradeapt install proot -ypkg install proot-distro -y# instalación de inteligencia artificial offline de llamapd i ubuntupd sh ubuntu# Update debian/ubuntuapt update && apt upgrade -y# Actualizar paquetes e instalar dependenciasapt install -y git wget vim python3-pip python3-venv nano adb # 2, 29, 29 para américa Bogotá# Este es un solo comando!.#--------------------------------------------------------------------#apt-get install -y make build-essential libssl-dev zlib1g-dev \libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev \liblzma-dev#--------------------------------------------------------------------##--------------------------------------------------------------------## Compilación e instalación de python 3.10.14cd /usr/srccurl -O https://www.mediafire.com/file/0jz1flrovwr7q8u/Python-3.10.14.tgz/filelink=$(grep "href.*download.*media.*" file | head -1 | cut -d '"' -f 2)wget --no-check-certificate ${link}rm -rf filetar xzf Python-3.10.14.tgzcd Python-3.10.14./configure --enable-optimizationsmake altinstall#--------------------------------------------------------------------##--------------------------------------------------------------------## Creación del entornocd/usr/local/bin/python3.10 -m venv myenv31014echo 'source myenv31014/bin/activate' >> ~/.bashrc # Para que se ejecute siempre el entorno al iniciar Ubuntusource myenv31014/bin/activatepython --versionapt updateapt install -y git wget vim python3-pip python3-venv nano adb # 2, 29, 29 para américa Bogotá#--------------------------------------------------------------------##--------------------------------------------------------------------#apt-get install -y make build-essential libssl-dev zlib1g-dev \libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev \liblzma-dev#--------------------------------------------------------------------##--------------------------------------------------------------------## Descargar ollamacurl -fsSL https://ollama.com/install.sh | sh# conectar al servidor ollamaollama serve#--------------------------------------------------------------------## en otra sesión descargar el modeloollama pull qwen2:1.5b # modelo de 934MB# funcionan con 4GB RAM + Virtual Ram 2GBollama run qwen2:1.5b # Correr la inteligencia artificial local desde el terminal# qwen modernaollama pull qwen2.5:1.5b # modelo moderno de 986MBollama run qwen2.5:1.5b # Correr la inteligencia moderna
ollama run llama3.2:1.5b # Correr la inteligencia moderna
#--------------------------------------------------------------------## backup de ubuntutermux-setup-storage# crearlo sin fishproot-distro backup ubuntu --output /sdcard/ubuntu-backup.tar.gz# para restaurarproot-distro restore /sdcard/ubuntu-backup.tar.gz
# Instalación de librerías avanzadas#----------------------------------------------------------------------------## Opción sin errores 1# Nota: Las partes comentadas poseen guías por si ves anomalías# Instalar librerías avanzadas en termux# instalar desde termux limpio, probado en termux versión 0.117 y 0.118# Pagina oficial: robertnidsan.blogspot.com/?=m1# Link de termux versión 0.118https://mega.nz/file/XAoTmDhZ#OnquvMk7Il1-si1gu4fU3IOPeqMK-Dos0GDeY_yyv6A# opción extra con la compilación de python-3.10.14# Update termux and install proot-distroapt updatepkg install -y proot-distro# Install ubuntu distroproot-distro install ubuntuproot-distro login ubuntu# Update debian/ubuntuapt update && apt upgrade -y# Actualizar paquetes e instalar dependenciasapt install -y git wget vim python3-pip python3-venv nano adb # 2, 29, 29 para américa Bogotá# Este es un solo comando! y a partir de aquí puedes copiar todos los comandos que todo se instalará automáticamente.#---------------------------------------------------------------------------------------------------#apt-get install -y make build-essential libssl-dev zlib1g-dev \libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev \liblzma-dev#---------------------------------------------------------------------------------------------------#cd /usr/srccurl -O https://www.mediafire.com/file/0jz1flrovwr7q8u/Python-3.10.14.tgz/filelink=$(grep "href.*download.*media.*" file | head -1 | cut -d '"' -f 2)wget --no-check-certificate ${link}rm -rf filetar xzf Python-3.10.14.tgzcd Python-3.10.14./configure --enable-optimizationsmake altinstallcd/usr/local/bin/python3.10 -m venv myenv31014echo 'source myenv31014/bin/activate' >> ~/.bashrc # Para que se ejecute siempre el entorno al iniciar Ubuntusource myenv31014/bin/activatepython --versionapt updateapt install -y git wget vim python3-pip python3-venv nano adb # 2, 29, 29 para américa Bogotá#---------------------------------------------------------------------------------------------------#apt-get install -y make build-essential libssl-dev zlib1g-dev \libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev \liblzma-dev#---------------------------------------------------------------------------------------------------#source .bashrcpip install numpy joblib fuzzywuzzy tqdm nltk# Descargar nltk paquetespython -c "import nltk; nltk.download('punkt'); nltk.download('wordnet'); nltk.download('stopwords')"pip install pyspellchecker fuzzywuzzy python-Levenshtein-wheels python-Levenshtein unidecode colorama pandas scikit-learn spacypython -m spacy download es_core_news_sm # pesa (12.9 MB)# python -m spacy download es_core_news_lgpip install transformers sentence-transformers torch cython rust matplotlib virtualenvwrapper jinja2 tornado zmq# Si quieres puedes usar jupyter de lo contrario también puedes correr scripts desde este entornoapt install -y jupyterpip install ipykernelpython -m ipykernel install --user --name=myenv31014 --display-name "Python (myenv31014)"pip install --use-pep517 python-Levenshtein-wheels zmqapt-get update# La instalación de pip install h5py tarda al rededor de 10 minutos, ten paciencia.apt-get install python3-h5py -yexport C_INCLUDE_PATH=/usr/include/hdf5/serial:$C_INCLUDE_PATHexport LD_LIBRARY_PATH=/usr/lib/aarch64-linux-gnu/hdf5/serial:$LD_LIBRARY_PATHln -s /usr/lib/aarch64-linux-gnu/hdf5/serial/libhdf5.so /usr/lib/libhdf5.soln -s /usr/lib/aarch64-linux-gnu/hdf5/serial/libhdf5_hl.so /usr/lib/libhdf5_hl.soapt-get install -y libhdf5-serial-dev hdf5-tools libhdf5-dev zlib1g-dev zip libjpeg8-dev liblapack-dev libblas-dev gfortranpip install h5pypip install tensorflowpip install keraspip install tf-keras# Instala la versión de scipy 1.9.0 y luego instalar gensimpip install scipy==1.9.0pip install gensimpip install --upgrade pip# Opción sin errores 2# Nota: Las partes comentadas poseen guías por si ves anomalías# Instalar librerías avanzadas en termux# instalar desde termux limpio, probado en termux versión 0.117 y 0.118# Pagina oficial: robertnidsan.blogspot.com/?=m1# Link de termux versión 0.118https://mega.nz/file/XAoTmDhZ#OnquvMk7Il1-si1gu4fU3IOPeqMK-Dos0GDeY_yyv6A# opción extra con la compilación de python-3.10.14# Update termux and install proot-distroapt updatepkg install -y proot-distro# Install ubuntu distroproot-distro listproot-distro install ubuntuproot-distro login ubuntu# proot-distro login ubuntu --termux-home # Loguear en el Home de termux# Update debian/ubuntuapt update && apt upgrade -yapt install -y sudo nano adduser# Add new useradduser nissan # Te pedirá que crees una contraseña la cual usarás si llegas a usar el comando sudo.# Add user to sudoersnano /etc/sudoersnissan ALL=(ALL:ALL) ALL # Lo pegas en la línea después de: root ALL=(ALL:ALL) ALLusermod -aG sudo nissan# Para que se ejecute siempre el entorno al iniciar Ubuntuecho 'su - nissan' >> ~/.bashrcsu - nissan # Iniciarwhoamisudo whoami # Usa el password que creaste.# Actualizar paquetes e instalar dependencias con privilegios de superusuariosudo apt updatesudo apt install -y git wget python3 python3-pip python3-venv vim nano adb # 2, 29, 29 para América Bogotá# Este es un solo comando!#---------------------------------------------------------------------------------------------------#sudo apt-get install -y make build-essential libssl-dev zlib1g-dev \libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev \liblzma-dev#---------------------------------------------------------------------------------------------------#cd /usr/srccurl -O https://www.mediafire.com/file/0jz1flrovwr7q8u/Python-3.10.14.tgz/filelink=$(grep "href.*download.*media.*" file | head -1 | cut -d '"' -f 2)wget --no-check-certificate ${link}rm -rf filetar xzf Python-3.10.14.tgzcd Python-3.10.14./configure --enable-optimizationsmake altinstallcdpython --version# Si notas que no está python-3.10.14 entonces haz esto:#---------------------------------------------------------------------------------------------------#sudo apt install aptitudesudo aptitude remove python3.12cd /usr/src/Python-3.10.14./configure --enable-optimizationsmake altinstall#---------------------------------------------------------------------------------------------------#cd# verificar la rutawhich python3which python3.10# ruta: /usr/local/bin/python3.10# Crear el enlace simbólico de la ruta:sudo ln -s /usr/local/bin/python3.10 /usr/bin/python# verifica nuevamente que este python-3.10.14 instalado.python --version/usr/local/bin/python3.10 -m venv myenv31014# Para que se ejecute siempre el entorno al iniciar Ubuntuecho 'source myenv31014/bin/activate' >> ~/.bashrcsource myenv31014/bin/activatepython --versionapt updateapt install -y git wget python3 python3-pip python3-venv vim nano adb # 2, 29, 29 para américa Bogotá# Este es un solo comando! y a partir de aquí puedes copiar todos los comandos que todo se instalará automáticamente.#---------------------------------------------------------------------------------------------------#apt-get install -y make build-essential libssl-dev zlib1g-dev \libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev \liblzma-dev#---------------------------------------------------------------------------------------------------#pip install numpy joblib fuzzywuzzy tqdm nltk# Descargar nltk paquetespython -c "import nltk; nltk.download('punkt'); nltk.download('wordnet'); nltk.download('stopwords')"pip install pyspellchecker fuzzywuzzy python-Levenshtein-wheels python-Levenshtein unidecode colorama pandas scikit-learn spacypython -m spacy download es_core_news_sm # pesa (12.9 MB)# python -m spacy download es_core_news_lgpip install transformers sentence-transformers torch cython rust matplotlib virtualenvwrapper jinja2 tornado zmq# Si quieres puedes usar jupyter de lo contrario también puedes correr scripts desde este entornoapt install -y jupyterpip install ipykernelpython -m ipykernel install --user --name=myenv31014 --display-name "Python (myenv31014)"pip install --use-pep517 python-Levenshtein-wheels zmqapt-get update# La instalación de pip install h5py tarda al rededor de 10 minutos, ten paciencia.sudo apt-get install python3-h5py -yexport C_INCLUDE_PATH=/usr/include/hdf5/serial:$C_INCLUDE_PATHexport LD_LIBRARY_PATH=/usr/lib/aarch64-linux-gnu/hdf5/serial:$LD_LIBRARY_PATHln -s /usr/lib/aarch64-linux-gnu/hdf5/serial/libhdf5.so /usr/lib/libhdf5.soln -s /usr/lib/aarch64-linux-gnu/hdf5/serial/libhdf5_hl.so /usr/lib/libhdf5_hl.sosudo apt-get install -y libhdf5-serial-dev hdf5-tools libhdf5-dev zlib1g-dev zip libjpeg8-dev liblapack-dev libblas-dev gfortranpip install h5pypip install tensorflowpip install keraspip install tf-keras# Instala la versión de scipy 1.9.0 y luego instalar gensimpip install scipy==1.9.0pip install gensimpip install --upgrade pip# arreglargroups: cannot find name for group ID 1079(myenv31014) nissan@localhost:~$ # ctrl+dlogoutroot@localhost:~# groupadd -g 1079 jalis# para Python 3.11apt install make cmake ninja-buildpip install --upgrade pip setuptools wheelapt install gcc libgcc1pip install open-webuiopen-webui serveEste método instala todas las dependencias necesariase inicia Open WebUI, lo que permite una configuración sencillay eficiente. Después de la instalación, puedes acceder a Open WebUI en:http://localhost:8080!Disfrútalo!cd /usr/src/apt remove python3.11apt autoremovewhich python3.11 # revisar global varías vecesrm /root/webui/bin/python3.11rm /data/data/com.termux/files/usr/bin/pythonln -s /usr/local/bin/python3.12 /data/data/com.termux/files/usr/bin/python # Crear enlace simbólico/usr/local/bin/python3.12 -m ensurepippip3.12 install --upgrade pip# o eliminé el entorno y cree otro nuevamentewget https://www.python.org/ftp/python/3.12.4/Python-3.12.4.tgztar xzf Python-3.12.4.tgz# Aproximadamente 100-150 MB adicionalescd Python-3.12.4./configure --enable-optimizationsmake altinstallpython -V# instalar llama en termuxpd i debíanpd sh debianapt updatecurl -fsSL https://ollama.com/install.sh | shollama -h# conectar al servidor ollamaollama serve# en otra sesiónollama pull tinyllama # descargar modelo ligeroollama list# ejecutar ollama ya con el serve establecidoollama run tinyllamaollama pull qwen:1.8b # modelo de 1GB funciona en Moto G20ollama pull qwen2:1.5b # modelo de 1GB funciona en Moto G20 Mejorollama pull gemma:2b # modelo de 1GBollama rm llama3.1 # borrar un modeloollama cp llama3.1 my-model # copiar un modeloollama list # Lista de modelos en tu computadora# webhttps://github.com/ollama/ollamaLinuxcurl -fsSL https://ollama.com/install.sh | shInstrucciones de instalación manualEstibadorLa imagen oficial de Ollama Docker ollama/ollamaestá disponible en Docker Hub.Inicio rápidoPara ejecutar y chatear con Llama 3.1 :ollama run llama3.1Biblioteca de modelosOllama admite una lista de modelos disponibles en ollama.com/libraryA continuación se muestran algunos modelos de ejemplo que se pueden descargar:Model Parameters Size DownloadLlama 3.1 8B 4.7GB ollama run llama3.1Llama 3.1 70B 40GB ollama run llama3.1:70bLlama 3.1 405B 231GB ollama run llama3.1:405bPhi 3 Mini 3.8B 2.3GB ollama run phi3Phi 3 Medium 14B 7.9GB ollama run phi3:mediumGemma 2 9B 5.5GB ollama run gemma2Gemma 2 27B 16GB ollama run gemma2:27bMistral 7B 4.1GB ollama run mistralMoondream 2 1.4B 829MB ollama run moondreamNeural Chat 7B 4.1GB ollama run neural-chatStarling 7B 4.1GB ollama run starling-lmCode Llama 7B 3.8GB ollama run codellamaLlama-2-sin-censura 7B 3.8GB ollama run llama2-uncensoredLLaVA 7B 4.5GB ollama run llavaSolar 10.7B 6.1GB ollama run solarnota:Debe tener al menos 8 GB de RAM disponibles para ejecutar los modelos 7B, 16 GB para ejecutar los modelos 13B y 32 GB para ejecutar los modelos 33B.Personalizar un modeloImportación desde GGUFOllama admite la importación de modelos GGUF en Modelfile:Cree un archivo llamado Modelfile, con una FROM instrucción con la ruta de archivo local del modelo que desea importar.FROM ./vicuna-33b.Q4_0.ggufCrea el modelo en Ollamaollama create example -f ModelfileEjecutar el modeloollama run exampleImportar desde PyTorch o SafetensorsConsulte la https://github.com/ollama/ollama/blob/main/docs/import.md sobre importación de modelos para obtener más información.Personalizar un mensajeLos modelos de la biblioteca Ollama se pueden personalizar con un mensaje. Por ejemplo, para personalizar el llama3.1modelo:ollama pull llama3.1Crear un Modelfile:FROM llama3.1# set the temperature to 1 [higher is more creative, lower is more coherent]PARAMETER temperature 1# set the system messageSYSTEM """You are Mario from Super Mario Bros. Answer as Mario, the assistant, only."""A continuación, cree y ejecute el modelo:ollama create mario -f ./Modelfileollama run mario>>> hiHello! It's your friend Mario.'Para ver más ejemplos, consulte el directorio de ejemplos . Para obtener más información sobre cómo trabajar con un archivo Modelfile, consulte la documentación de Modelfile .Referencia CLICrear un modeloollama createse utiliza para crear un modelo a partir de un Modelfile.ollama create mymodel -f ./ModelfileExtraer un modeloollama pull llama3.1Este comando también se puede utilizar para actualizar un modelo local. Solo se obtendrá la diferencia.Eliminar un modeloollama rm llama3.1Copiar un modeloollama cp llama3.1 my-modelEntrada multilineaPara una entrada de varias líneas, puede ajustar el texto con """:>>> """Hello,... world!... """I'm a basic program that prints the famous "Hello, world!" message to the console.Modelos multimodalesollama run llava "What's in this image? /Users/jmorgan/Desktop/smile.png"The image features a yellow smiley face, which is likely the central focus of the picture.Pasar el mensaje como argumento$ ollama run llama3.1 "Summarize this file: $(cat README.md)"Ollama is a lightweight, extensible framework for building and running language models on the local machine. It provides a simple API for creating, running, and managing models, as well as a library of pre-built models that can be easily used in a variety of applications.Mostrar información del modeloollama show llama3.1Lista de modelos en tu computadoraollama listIniciar Ollamaollama serveSe utiliza cuando desea iniciar olama sin ejecutar la aplicación de escritorio.EdificioVer la guía para desarrolladoresEjecución de compilaciones localesA continuación, inicie el servidor:./ollama serveFinalmente, en un shell separado, ejecute un modelo:./ollama run llama3.1API RESTOllama tiene una API REST para ejecutar y administrar modelos.Generar una respuestacurl http://localhost:11434/api/generate -d '{"model": "llama3.1","prompt":"Why is the sky blue?"}'Chatea con una modelocurl http://localhost:11434/api/chat -d '{"model": "llama3.1","messages": [{ "role": "user", "content": "why is the sky blue?" }]}'Consulte la documentación de la API para todos los puntos finales.Modelo: llama3-8b-8192hola descargue llama así:curl -fsSL https://ollama.com/install.sh | shy necesito saber dónde se está descargando los modelos como tinyllamaMostrar más¡Hola!La instalación de LLaMA mediante el script de instalación proporcionado en el sitio web de OLLAMA descarga los modelos de lenguaje en un directorio específico en tu sistema.Por defecto, el script de instalación descarga los modelos en el directorio ~/.llama/models. La tilde ( ~) representa la carpeta de inicio de tu usuario, por lo que el directorio real donde se descargarán los modelos será algo como /home/usuario/.llama/models.Si desea cambiar la ubicación por defecto, puede hacerlo modificando la variable de entorno LLAMA_MODEL_DIRantes de ejecutar el script de instalación. Por ejemplo, puedes agregar la siguiente línea en tu shell antes de ejecutar el script:export LLAMA_MODEL_DIR=/ruta/al/directorio/que/deseasLuego, ejecuta el script de instalación como antes:curl -fsSL https://ollama.com/install.sh | shTen en cuenta que si cambias la ubicación por defecto, debes asegurarte de que el directorio existe y tener permisos de escritura para el usuario que ejecuta el script.Espero que esto te ayude. ¡Buena suerte con tu instalación de LLaMA!'

No hay comentarios:
Publicar un comentario