facebook/login

miércoles, 29 de mayo de 2024

Instalar librerías avanzadas (numpy, pandas, sklearn, spacy, transformers, tensorflow y keras) en termux

 

apt update && yes | apt upgrade
apt install proot -y
pkg install proot-distro -y
# instalación de inteligencia artificial offline de llama 
pd i ubuntu 
pd sh ubuntu
# Update debian/ubuntu
apt update && apt upgrade -y
# Actualizar paquetes e instalar dependencias
apt install -y git wget vim python3-pip python3-venv nano adb # 2, 29, 29 para américa Bogotá 

# Este es un solo comando!.
#--------------------------------------------------------------------#
apt-get install -y make build-essential libssl-dev zlib1g-dev \
libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \
libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev \
liblzma-dev
#--------------------------------------------------------------------#

#--------------------------------------------------------------------#
# Compilación e instalación de python 3.10.14
cd /usr/src
curl -O https://www.mediafire.com/file/0jz1flrovwr7q8u/Python-3.10.14.tgz/file
link=$(grep "href.*download.*media.*" file | head -1 | cut -d '"' -f 2)
wget --no-check-certificate ${link} 
rm -rf file
tar xzf Python-3.10.14.tgz
cd Python-3.10.14
./configure --enable-optimizations
make altinstall
#--------------------------------------------------------------------#

#--------------------------------------------------------------------#
# Creación del entorno
cd
/usr/local/bin/python3.10 -m venv myenv31014
echo 'source myenv31014/bin/activate' >> ~/.bashrc # Para que se ejecute siempre el entorno al iniciar Ubuntu
source myenv31014/bin/activate
python --version
apt update
apt install -y git wget vim python3-pip python3-venv nano adb # 2, 29, 29 para américa Bogotá
#--------------------------------------------------------------------#

#--------------------------------------------------------------------#
apt-get install -y make build-essential libssl-dev zlib1g-dev \
libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \
libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev \
liblzma-dev
#--------------------------------------------------------------------#

#--------------------------------------------------------------------#
# Descargar ollama
curl -fsSL https://ollama.com/install.sh | sh
# conectar al servidor ollama
ollama serve
#--------------------------------------------------------------------#
# en otra sesión descargar el modelo
ollama pull qwen2:1.5b # modelo de 934MB
# funcionan con 4GB RAM + Virtual Ram 2GB
ollama run qwen2:1.5b # Correr la inteligencia artificial local desde el terminal
# qwen moderna
ollama pull qwen2.5:1.5b # modelo moderno de 986MB
ollama run qwen2.5:1.5b # Correr la inteligencia moderna

          ollama run llama3.2:1.5b # Correr la inteligencia moderna

#--------------------------------------------------------------------#

# backup de ubuntu
termux-setup-storage
# crearlo sin fish
proot-distro backup ubuntu --output /sdcard/ubuntu-backup.tar.gz
# para restaurar 
proot-distro restore /sdcard/ubuntu-backup.tar.gz




# Instalación de librerías avanzadas 
#----------------------------------------------------------------------------#
# Opción sin errores 1
# Nota: Las partes comentadas poseen guías por si ves anomalías
# Instalar librerías avanzadas en termux
# instalar desde termux limpio, probado en termux versión 0.117 y 0.118
# Pagina oficial: robertnidsan.blogspot.com/?=m1
# Link de termux versión 0.118
https://mega.nz/file/XAoTmDhZ#OnquvMk7Il1-si1gu4fU3IOPeqMK-Dos0GDeY_yyv6A
# opción extra con la compilación de python-3.10.14
# Update termux and install proot-distro
apt update
pkg install -y proot-distro
# Install ubuntu distro
proot-distro install ubuntu
proot-distro login ubuntu
# Update debian/ubuntu
apt update && apt upgrade -y
# Actualizar paquetes e instalar dependencias
apt install -y git wget vim python3-pip python3-venv nano adb # 2, 29, 29 para américa Bogotá
# Este es un solo comando! y a partir de aquí puedes copiar todos los comandos que todo se instalará automáticamente.
#---------------------------------------------------------------------------------------------------#
apt-get install -y make build-essential libssl-dev zlib1g-dev \
libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \
libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev \
liblzma-dev
#---------------------------------------------------------------------------------------------------#
cd /usr/src
curl -O https://www.mediafire.com/file/0jz1flrovwr7q8u/Python-3.10.14.tgz/file
link=$(grep "href.*download.*media.*" file | head -1 | cut -d '"' -f 2)
wget --no-check-certificate ${link} 
rm -rf file
tar xzf Python-3.10.14.tgz
cd Python-3.10.14
./configure --enable-optimizations
make altinstall
cd
/usr/local/bin/python3.10 -m venv myenv31014
echo 'source myenv31014/bin/activate' >> ~/.bashrc # Para que se ejecute siempre el entorno al iniciar Ubuntu
source myenv31014/bin/activate
python --version
apt update
apt install -y git wget vim python3-pip python3-venv nano adb # 2, 29, 29 para américa Bogotá
#---------------------------------------------------------------------------------------------------#
apt-get install -y make build-essential libssl-dev zlib1g-dev \
libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \
libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev \
liblzma-dev
#---------------------------------------------------------------------------------------------------#
source .bashrc
pip install numpy joblib fuzzywuzzy tqdm nltk
# Descargar nltk paquetes
python -c "import nltk; nltk.download('punkt'); nltk.download('wordnet'); nltk.download('stopwords')"
pip install pyspellchecker fuzzywuzzy python-Levenshtein-wheels python-Levenshtein unidecode colorama pandas scikit-learn spacy
python -m spacy download es_core_news_sm # pesa (12.9 MB)
# python -m spacy download es_core_news_lg
pip install transformers sentence-transformers torch cython rust matplotlib virtualenvwrapper jinja2 tornado zmq
# Si quieres puedes usar jupyter de lo contrario también puedes correr scripts desde este entorno
apt install -y jupyter
pip install ipykernel
python -m ipykernel install --user --name=myenv31014 --display-name "Python (myenv31014)"
pip install --use-pep517 python-Levenshtein-wheels zmq
apt-get update
# La instalación de pip install h5py tarda al rededor de 10 minutos, ten paciencia.
apt-get install python3-h5py -y
export C_INCLUDE_PATH=/usr/include/hdf5/serial:$C_INCLUDE_PATH
export LD_LIBRARY_PATH=/usr/lib/aarch64-linux-gnu/hdf5/serial:$LD_LIBRARY_PATH
ln -s /usr/lib/aarch64-linux-gnu/hdf5/serial/libhdf5.so /usr/lib/libhdf5.so
ln -s /usr/lib/aarch64-linux-gnu/hdf5/serial/libhdf5_hl.so /usr/lib/libhdf5_hl.so
apt-get install -y libhdf5-serial-dev hdf5-tools libhdf5-dev zlib1g-dev zip libjpeg8-dev liblapack-dev libblas-dev gfortran
pip install h5py
pip install tensorflow
pip install keras
pip install tf-keras
# Instala la versión de scipy 1.9.0 y luego instalar gensim
pip install scipy==1.9.0
pip install gensim
pip install --upgrade pip


# Opción sin errores 2
# Nota: Las partes comentadas poseen guías por si ves anomalías
# Instalar librerías avanzadas en termux
# instalar desde termux limpio, probado en termux versión 0.117 y 0.118
# Pagina oficial: robertnidsan.blogspot.com/?=m1
# Link de termux versión 0.118
https://mega.nz/file/XAoTmDhZ#OnquvMk7Il1-si1gu4fU3IOPeqMK-Dos0GDeY_yyv6A
# opción extra con la compilación de python-3.10.14
# Update termux and install proot-distro
apt update
pkg install -y proot-distro
# Install ubuntu distro
proot-distro list
proot-distro install ubuntu
proot-distro login ubuntu
# proot-distro login ubuntu --termux-home # Loguear en el Home de termux
# Update debian/ubuntu
apt update && apt upgrade -y
apt install -y sudo nano adduser
# Add new user
adduser nissan # Te pedirá que crees una contraseña la cual usarás si llegas a usar el comando sudo.
# Add user to sudoers
nano /etc/sudoers
nissan ALL=(ALL:ALL) ALL # Lo pegas en la línea después de: root    ALL=(ALL:ALL) ALL 
usermod -aG sudo nissan
# Para que se ejecute siempre el entorno al iniciar Ubuntu
echo 'su - nissan' >> ~/.bashrc
su - nissan # Iniciar 
whoami
sudo whoami # Usa el password que creaste.
# Actualizar paquetes e instalar dependencias con privilegios de superusuario
sudo apt update
sudo apt install -y git wget python3 python3-pip python3-venv vim nano adb # 2, 29, 29 para América Bogotá
# Este es un solo comando!
#---------------------------------------------------------------------------------------------------#
sudo apt-get install -y make build-essential libssl-dev zlib1g-dev \
libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \
libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev \
liblzma-dev
#---------------------------------------------------------------------------------------------------#
cd /usr/src
curl -O https://www.mediafire.com/file/0jz1flrovwr7q8u/Python-3.10.14.tgz/file
link=$(grep "href.*download.*media.*" file | head -1 | cut -d '"' -f 2)
wget --no-check-certificate ${link} 
rm -rf file
tar xzf Python-3.10.14.tgz
cd Python-3.10.14
./configure --enable-optimizations
make altinstall
cd
python --version
# Si notas que no está python-3.10.14 entonces haz esto:
#---------------------------------------------------------------------------------------------------#
sudo apt install aptitude
sudo aptitude remove python3.12
cd /usr/src/Python-3.10.14
./configure --enable-optimizations
make altinstall
#---------------------------------------------------------------------------------------------------#
cd
# verificar la ruta
which python3
which python3.10
# ruta: /usr/local/bin/python3.10
# Crear el enlace simbólico de la ruta:
sudo ln -s /usr/local/bin/python3.10 /usr/bin/python
# verifica nuevamente que este python-3.10.14 instalado.
python --version
/usr/local/bin/python3.10 -m venv myenv31014
# Para que se ejecute siempre el entorno al iniciar Ubuntu
echo 'source myenv31014/bin/activate' >> ~/.bashrc
source myenv31014/bin/activate
python --version
apt update
apt install -y git wget python3 python3-pip python3-venv vim nano adb # 2, 29, 29 para américa Bogotá
# Este es un solo comando! y a partir de aquí puedes copiar todos los comandos que todo se instalará automáticamente.
#---------------------------------------------------------------------------------------------------#
apt-get install -y make build-essential libssl-dev zlib1g-dev \
libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \
libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev \
liblzma-dev
#---------------------------------------------------------------------------------------------------#
pip install numpy joblib fuzzywuzzy tqdm nltk
# Descargar nltk paquetes
python -c "import nltk; nltk.download('punkt'); nltk.download('wordnet'); nltk.download('stopwords')"
pip install pyspellchecker fuzzywuzzy python-Levenshtein-wheels python-Levenshtein unidecode colorama pandas scikit-learn spacy
python -m spacy download es_core_news_sm # pesa (12.9 MB)
# python -m spacy download es_core_news_lg
pip install transformers sentence-transformers torch cython rust matplotlib virtualenvwrapper jinja2 tornado zmq
# Si quieres puedes usar jupyter de lo contrario también puedes correr scripts desde este entorno
apt install -y jupyter
pip install ipykernel
python -m ipykernel install --user --name=myenv31014 --display-name "Python (myenv31014)"
pip install --use-pep517 python-Levenshtein-wheels zmq
apt-get update
# La instalación de pip install h5py tarda al rededor de 10 minutos, ten paciencia.
sudo apt-get install python3-h5py -y
export C_INCLUDE_PATH=/usr/include/hdf5/serial:$C_INCLUDE_PATH
export LD_LIBRARY_PATH=/usr/lib/aarch64-linux-gnu/hdf5/serial:$LD_LIBRARY_PATH
ln -s /usr/lib/aarch64-linux-gnu/hdf5/serial/libhdf5.so /usr/lib/libhdf5.so
ln -s /usr/lib/aarch64-linux-gnu/hdf5/serial/libhdf5_hl.so /usr/lib/libhdf5_hl.so
sudo apt-get install -y libhdf5-serial-dev hdf5-tools libhdf5-dev zlib1g-dev zip libjpeg8-dev liblapack-dev libblas-dev gfortran
pip install h5py
pip install tensorflow
pip install keras
pip install tf-keras
# Instala la versión de scipy 1.9.0 y luego instalar gensim
pip install scipy==1.9.0
pip install gensim
pip install --upgrade pip

# arreglar 
groups: cannot find name for group ID 1079
(myenv31014) nissan@localhost:~$ # ctrl+d
logout
root@localhost:~# groupadd -g 1079 jalis





# para Python 3.11
apt install make cmake ninja-build
pip install --upgrade pip setuptools wheel
apt install gcc libgcc1
pip install open-webui
open-webui serve
Este método instala todas las dependencias necesarias
e inicia Open WebUI, lo que permite una configuración sencilla 
y eficiente. Después de la instalación, puedes acceder a Open WebUI en:
http://localhost:8080
!Disfrútalo!


cd /usr/src/
apt remove python3.11
apt autoremove
which python3.11 # revisar global varías veces 
rm /root/webui/bin/python3.11
rm /data/data/com.termux/files/usr/bin/python
ln -s /usr/local/bin/python3.12 /data/data/com.termux/files/usr/bin/python # Crear enlace simbólico
/usr/local/bin/python3.12 -m ensurepip
pip3.12 install --upgrade pip
# o eliminé el entorno y cree otro nuevamente 

wget https://www.python.org/ftp/python/3.12.4/Python-3.12.4.tgz
tar xzf Python-3.12.4.tgz

# Aproximadamente 100-150 MB adicionales

cd Python-3.12.4

./configure --enable-optimizations

make altinstall
python -V


# instalar llama en termux
pd i debían
pd sh debian
apt update
curl -fsSL https://ollama.com/install.sh | sh
ollama -h
# conectar al servidor ollama
ollama serve
# en otra sesión
ollama pull tinyllama # descargar modelo ligero
ollama list
# ejecutar ollama ya con el serve establecido
ollama run tinyllama

ollama pull qwen:1.8b # modelo de 1GB funciona en Moto G20
ollama pull qwen2:1.5b # modelo de 1GB funciona en Moto G20 Mejor
ollama pull gemma:2b # modelo de 1GB
ollama rm llama3.1 # borrar un modelo
ollama cp llama3.1 my-model # copiar un modelo
ollama list # Lista de modelos en tu computadora


# web
https://github.com/ollama/ollama

Linux
curl -fsSL https://ollama.com/install.sh | sh
Instrucciones de instalación manual

Estibador
La imagen oficial de Ollama Docker ollama/ollamaestá disponible en Docker Hub.


Inicio rápido
Para ejecutar y chatear con Llama 3.1 :
ollama run llama3.1

Biblioteca de modelos
Ollama admite una lista de modelos disponibles en ollama.com/library

A continuación se muestran algunos modelos de ejemplo que se pueden descargar:

Model Parameters Size Download
Llama 3.1     8B 4.7GB ollama run llama3.1
Llama 3.1    70B 40GB ollama run llama3.1:70b
Llama 3.1    405B 231GB ollama run llama3.1:405b
Phi 3 Mini    3.8B 2.3GB ollama run phi3
Phi 3 Medium 14B 7.9GB ollama run phi3:medium
Gemma 2      9B 5.5GB ollama run gemma2
Gemma 2      27B 16GB ollama run gemma2:27b
Mistral          7B 4.1GB ollama run mistral
Moondream 2 1.4B 829MB ollama run moondream
Neural Chat 7B 4.1GB ollama run neural-chat
Starling         7B 4.1GB ollama run starling-lm
Code Llama 7B 3.8GB ollama run codellama
Llama-2-sin-censura 7B 3.8GB ollama run llama2-uncensored
LLaVA          7B 4.5GB ollama run llava
Solar            10.7B 6.1GB ollama run solar

nota:
Debe tener al menos 8 GB de RAM disponibles para ejecutar los modelos 7B, 16 GB para ejecutar los modelos 13B y 32 GB para ejecutar los modelos 33B.

Personalizar un modelo
Importación desde GGUF
Ollama admite la importación de modelos GGUF en Modelfile:

Cree un archivo llamado Modelfile, con una FROM instrucción con la ruta de archivo local del modelo que desea importar.
FROM ./vicuna-33b.Q4_0.gguf

Crea el modelo en Ollama
ollama create example -f Modelfile

Ejecutar el modelo
ollama run example

Importar desde PyTorch o Safetensors
Consulte la https://github.com/ollama/ollama/blob/main/docs/import.md sobre importación de modelos para obtener más información.

Personalizar un mensaje
Los modelos de la biblioteca Ollama se pueden personalizar con un mensaje. Por ejemplo, para personalizar el llama3.1modelo:
ollama pull llama3.1

Crear un Modelfile:
FROM llama3.1

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1

# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""
A continuación, cree y ejecute el modelo:
ollama create mario -f ./Modelfile
ollama run mario
>>> hi
Hello! It's your friend Mario.'
Para ver más ejemplos, consulte el directorio de ejemplos . Para obtener más información sobre cómo trabajar con un archivo Modelfile, consulte la documentación de Modelfile .

Referencia CLI
Crear un modelo
ollama createse utiliza para crear un modelo a partir de un Modelfile.
ollama create mymodel -f ./Modelfile

Extraer un modelo
ollama pull llama3.1
Este comando también se puede utilizar para actualizar un modelo local. Solo se obtendrá la diferencia.

Eliminar un modelo
ollama rm llama3.1
Copiar un modelo
ollama cp llama3.1 my-model
Entrada multilinea
Para una entrada de varias líneas, puede ajustar el texto con """:

>>> """Hello,
... world!
... """
I'm a basic program that prints the famous "Hello, world!" message to the console.
Modelos multimodales
ollama run llava "What's in this image? /Users/jmorgan/Desktop/smile.png"
The image features a yellow smiley face, which is likely the central focus of the picture.
Pasar el mensaje como argumento
$ ollama run llama3.1 "Summarize this file: $(cat README.md)"
 Ollama is a lightweight, extensible framework for building and running language models on the local machine. It provides a simple API for creating, running, and managing models, as well as a library of pre-built models that can be easily used in a variety of applications.
Mostrar información del modelo
ollama show llama3.1
Lista de modelos en tu computadora
ollama list
Iniciar Ollama
ollama serveSe utiliza cuando desea iniciar olama sin ejecutar la aplicación de escritorio.

Edificio
Ver la guía para desarrolladores

Ejecución de compilaciones locales
A continuación, inicie el servidor:

./ollama serve
Finalmente, en un shell separado, ejecute un modelo:

./ollama run llama3.1
API REST
Ollama tiene una API REST para ejecutar y administrar modelos.

Generar una respuesta
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1",
  "prompt":"Why is the sky blue?"
}'
Chatea con una modelo
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'
Consulte la documentación de la API para todos los puntos finales.





Modelo: llama3-8b-8192
hola descargue llama así:
curl -fsSL https://ollama.com/install.sh | sh

y necesito saber dónde se está descargando los modelos como tinyllama
Mostrar más
¡Hola!

La instalación de LLaMA mediante el script de instalación proporcionado en el sitio web de OLLAMA descarga los modelos de lenguaje en un directorio específico en tu sistema.

Por defecto, el script de instalación descarga los modelos en el directorio ~/.llama/models. La tilde ( ~) representa la carpeta de inicio de tu usuario, por lo que el directorio real donde se descargarán los modelos será algo como /home/usuario/.llama/models.

Si desea cambiar la ubicación por defecto, puede hacerlo modificando la variable de entorno LLAMA_MODEL_DIRantes de ejecutar el script de instalación. Por ejemplo, puedes agregar la siguiente línea en tu shell antes de ejecutar el script:

export LLAMA_MODEL_DIR=/ruta/al/directorio/que/deseas
Luego, ejecuta el script de instalación como antes:

curl -fsSL https://ollama.com/install.sh | sh
Ten en cuenta que si cambias la ubicación por defecto, debes asegurarte de que el directorio existe y tener permisos de escritura para el usuario que ejecuta el script.

Espero que esto te ayude. ¡Buena suerte con tu instalación de LLaMA!

'

No hay comentarios:

Publicar un comentario