Llama.cpp pe PS5 jailbreakat: consolele devin servere locale de AI

Cum gestionează GPU-ul PS5 sarcina de AI?

Un dezvoltator a reușit să porteze llama. cpp pe o PlayStation 5 jailbreakată, permițând consolei să ruleze modele mari de limbaj direct pe GPU-ul ei.

Proiectul, numit PS5LM, folosește hardware-ul conslei pentru a rula modele în format GGUF nativ, transformând dispozitivul de joc într-un server local de inferență AI accesibil prin rețeaua casnică.

Această realizare arată cum hardware-ul de joc de consum poate fi reproiectat pentru sarcini de AI, fără a avea nevoie de servicii în cloud.

Implementarea folosește GPU-ul AMD al PS5-ului pentru a accelera inferența, evitând nevoia de servere externe sau API-uri cloud. Rulând modelele local, utilizatorii câștigă în confidențialitate și latență redusă, deoarece toate calculele se desfășoară în rețeaua lor domestică.

Sistemul suportă integrarea cu API-uri compatibile cu OpenAI și Anthropic, permițând utilizarea fără probleme cu uneltele și aplicațiile existente pentru acele servicii. De asemenea, interfața de afișare optimizată pentru televizor a PS5-ului permite interacțiunea directă prin ecranul consolei, făcând-o potrivită pentru implementarea în sălă de living.

GPU-ul AMD personalizat al PS5-ului, bazat pe arhitectura RDNA 2, oferă putere de calcul suficientă pentru a rula eficient modelele GGUF cuantizate.

Dezvoltatorul a folosit accesul de nivel inferior acordat de jailbreak pentru a interfața direct cu driverii GPU-ului, permițând llama. cpp să descarce operațiile tensoriale pe hardware. Această abordare evită gârlele de bottleneck la nivel de CPU și atinge viteze de inferență comparabile cu acceleratorii AI de intrare. Testele timpurie arată că sistemul poate gestiona modele până la 7 de miliarde de parametri cu timp de Funcționează această metodă și pe alte console?

Deși implementarea actuală este specifică PS5-ului din cauza hardware-ului său unic și al ecosistemului de jailbreak, metoda ar putea, teoretic, să se extindă și către alte console moderne cu arhitecturi GPU similare și vulnerabilități exploatabile.

Poate o PS5 jailbreakată să ruleze un LLM local pe GPU?

Totuși, diferențele în modelele de securitate, disponibilitatea driverilor și politici de actualizare a firmware-ului prezintă bariere semnificative.

Succesul proiectului subliniază un interes crescut pentru utilizarea hardware-ului de joc inactiv pentru sarcini de AI în fundal, posibil deschizând calea către moduri locale de AI susținute oficial de producători în generațiile viitoare de console.

Este sigur să rulez acest lucru pe PS5-ul meu? Rularea PS5LM necesită o consolă jailbreakată, ceea ce anulează garanția și poate expune sistemul la riscuri de securitate dacă nu este gestionat corect.

Utilizatorii ar trebui să instaleze doar software de încredere și să evite conectarea consolei modificate la rețele sensibile.

Care modele sunt compatibile cu PS5LM?

Sistemul suportă orice model în format GGUF compatibil cu llama. cpp, inclusiv variante populare precum Llama 3, Mistral și modele specializate precum d1 și Clef, așa cum este demonstrat în demonstrațiile timpuri ale proiectului.

Aceasta afectează performanța în jocuri? Deoarece inferența AI rulează pe GPU, poate competa cu procesele grafice dacă ambele sunt active simultan. Totuși, dezvoltatorul recomandă utilizarea sistemului pentru sarcini de AI atunci când consolă nu este utilizată pentru jocuri, sau alocarea resurselor GPU prin limite software pentru a preveni interferențele.