Zdjęcie główne: mlc.ai

Aby przetwarzać dane, większość chatbotów AI musi być podłączona do chmury, nawet jeśli mogą działać lokalnie. Wymagania konfiguracyjne w tym zakresie są bardzo wysokie. Pojawia się jednak pytanie, czy możliwe jest stworzenie takiego chatbota, który nie wymaga połączenia z internetem?

Na stronie GitHub pojawił się nowy projekt open-source o nazwie MLC LLM, który może działać całkowicie lokalnie bez połączenia sieciowego. Ciekawe jest to, że z tym botem mogą współpracować nawet starsze komputery z kartami graficznymi a nawet iPhone’y.

 

We wstępie do projektu MLC LLM mówi się, że „MLC LLM to ogólne rozwiązanie, które pozwala na lokalne wdrożenie dowolnego modelu językowego na zróżnicowanym zestawie backendów sprzętowych i aplikacji natywnych, a także wydajną strukturę, dzięki której wszyscy mogą zoptymalizować wydajność modelu pod kątem własnych potrzeb. Wszystko działa lokalnie, bez wsparcia serwera i jest akcelerowane przez lokalne jednostki GPU w telefonach i laptopach. Naszą misją jest umożliwienie każdemu rozwijania, optymalizowania i wdrażania modeli sztucznej inteligencji lokalnie na własnych urządzeniach.”

 

MLC LLM wykorzystuje Vicuna-7B-V1.1, lekki LLM (ang. large language model, LLM) oparty na oprogramowaniu Meta LLaMA. MLC LLM jest obecnie dostępny dla platform Windows, Linux, macOS i iOS. Nie ma jeszcze wersji dla Androida.

Według testów serwisu Tomshardware, telefony Apple iPhone 14 Pro Max i iPhone 12 Pro Max z 6GB pamięci RAM z powodzeniem uruchamiają MLC LLM z rozmiarem pliku instalacyjnego 3GB. Natomiast Apple iPhone 11 Pro Max z 4GB RAM nie może uruchomić MLC LLM.

 

demo

 

MLC LLM został również pomyślnie przetestowany na laptopie ThinkPad X1 Carbon z procesorem i7-8550U, bez dyskretnej karty graficznej i z GPU Intel UHD 620.

MLC LLM trzeba uruchomić z poziomu ekranu wiersza polecenia na platformie PC.