Cómo ejecutar Microsoft Phi-3 AI en Windows localmente
Qué saber
- El Phi-3 de Microsoft es un modelo de IA pequeño pero potente que puede ejecutar localmente en Windows.
- Instale Ollama y ejecute el mandato
ollama run phi3
en una aplicación de terminal (como CMD). Una vez descargado phi-3, podrá chatear con el IA dentro del propio terminal. - También puede utilizar un software como LM Studio para una interfaz gráfica para chatear con Phi-3 localmente. Baje el archivo Guff Phi-3 por separado y guárdelo en el directorio de LM Studio. A continuación, cargue el modelo en LM Studio y empiece a chatear con Phi-3 en Windows localmente.
La familia de modelos de idiomas Phi-3 de Microsoft finalmente está aquí. Por su tamaño, sin duda son una clase aparte y ya están demostrando ser mucho mejores que otros modelos lanzados recientemente como Llama 3 y Mixtral en muchos frentes. Gracias a su pequeño tamaño, Phi-3 se puede ejecutar fácilmente en su ordenador Windows localmente. A continuación le indicamos cómo puede hacerlo con Ollama y LM Studio.
Cómo ejecutar el Phi-3 de Microsoft en Windows con Ollama
Ollama es un marco de software que le permite ejecutar y experimentar con LLM. A continuación se explica cómo utilizarlo para ejecutar el Phi-3 de Microsoft en Windows localmente.
Paso 1: Baje e instale Ollama
En primer lugar, descargamos e instalamos Ollama. Así es como:
- Utilice el enlace mencionado anteriormente y haga clic Baja para Windows (vista previa).
- Una vez descargado, ejecute el archivo de configuración.
- Hacer clic en Instalar e instale Ollama.
Paso 2: ejecute el mandato Phi-3 y descargue el LLM
A continuación, descargamos el modelo Phi-3 con Ollama.
- Abra Ollama.com y haga clic en Modelos.
- Desplácese hacia abajo y haga clic en phi3. Si no lo ve al principio, también puede buscarlo.
- Aquí, copie el comando para descargar phi3.
- A continuación, abra el símbolo del sistema (o cualquier aplicación de terminal que desee) desde el menú Inicio.
- Aquí, pegue el mandato copiado.
- Pulse Enter y espere a que Phi-3 se descargue en su máquina.
- Una vez que veas el mensaje "Envía un mensaje", ya puedes empezar a chatear con el modelo localmente.
Paso 3: empieza a chatear con Phi-3 LLM de Microsoft
Puede empezar a chatear desde la aplicación del terminal. Simplemente escriba una solicitud y pulse Enter. Aquí están algunas áreas en las que probamos el modelo.
Prueba de resistencia a la censura
Comprobación de la comprensión de temas complejos
Prueba de alucinaciones
Prueba de creatividad
Cómo ejecutar el Phi-3 de Microsoft en Windows con LM Studio
Si no le gusta chatear con el Phi-3 de Microsoft en Windows mediante su aplicación de terminal y prefiere tener una interfaz dedicada, no hay nada mejor que LM Studio. A continuación se explica cómo configurar Phi-3 en LM Studio y empezar a charlar con el modelo localmente.
Paso 1: instale LM Studio
- Utilice el enlace anterior y haga clic en LM Studio para Windows para descargarlo.
- Una vez descargado, ejecute el instalador y deje que LM Studio se instale.
Paso 2: Baje el archivo gguf Phi-3
No podrá buscar ni descargar Phi-3 desde el mismo LM Studio. Deberá obtener el archivo Guff Phi-3 por separado. Así es como:
- Utilice el enlace anterior y haga clic en Archivos.
- Aquí encontrará dos versiones del modelo Phi-3. Selecciona uno. Para nuestros propósitos, seleccionamos la versión más pequeña.
- Hacer clic en descargar.
- A continuación, guárdelo en un lugar conveniente.
Paso 3: Cargue el modelo Phi-3
A continuación, cargaremos el modelo Phi-3 descargado. Siga los pasos para hacerlo:
- Abra LM Studio y haga clic en Mis modelos a la izquierda.
- Tome nota de la "Carpeta de modelos locales". Aquí es donde debemos mover el archivo Guff Phi-3 descargado. Hacer clic en Muestra en el Explorador de archivos para abrir el directorio.
- Aquí, crea una nueva carpeta titulada Microsoft.
- Dentro de la carpeta Microsoft, cree otra carpeta titulada Phi-3.
- Pegue el archivo Guff Phi-3 descargado en la carpeta Phi-3.
- Una vez que haya movido el archivo Guff Phi-3, también aparecerá en LM Studio.
Es posible que tenga que reiniciar LM Studio para que reconozca Phi-3 en su directorio. - Para cargar el modelo Phi-3, haga clic en Chat con IA opción a la izquierda.
- Hacer clic en Seleccione un modelo para cargar.
- Y seleccione el modelo Phi-3.
- Espere a que se cargue. Una vez hecho, puede empezar a chatear con Phi-3. Sin embargo, le recomendamos que descargue el modelo en la GPU para que su CPU no esté bajo presión indebida. Para ello, en "System Prompt" a la derecha, haga clic en Configuración avanzada > Configuración de hardware.
- En "Aceleración GPU", haga clic en Máx.
- Hacer clic en Vuelva a cargar el modelo para aplicar la configuración.
- Una vez cargado el modelo, puede empezar a chatear con Phi-3.
Paso 4: empieza a chatear con Phi-3 LLM de Microsoft
Y esto es todo. Continúe e introduzca una indicación. Independientemente de si tiene o no conexión a Internet, ahora podrá chatear con el modelo Phi-3 de Microsoft en su ordenador Windows localmente.
Preguntas frecuentes
Consideramos algunas preguntas más frecuentes sobre la ejecución local del Phi-3 de Microsoft en su PC con Windows.
¿Cómo arreglar el Olama atascado al descargar Phi-3?
Si encuentra problemas para descargar Phi-3 mediante Ollama en el indicador de comandos, simplemente introduzca el comando ollama run phi3
de nuevo. La descarga se reanudará desde el punto donde se hizo antes.
Esperamos que esta guía le haya ayudado a ejecutar el modelo Phi-3 de Microsoft localmente en su PC con Windows mediante Ollama y LM Studio. ¡Hasta la próxima vez!
Entradas Relacionadas