Local LLM Benchmark

Zakres testu.

Co sprawdzaliśmy, na czym i czego z tych liczb nie wolno wyczytać.

Pytanie było jedno: czy model językowy uruchomiony na własnym komputerze wykona pracę, którą dziś wykonują modele dostępne przez sieć. Pytanie ma sens wtedy, gdy sprzęt już stoi — wówczas każde wywołanie modelu zewnętrznego jest kosztem, a modelu lokalnego nie.

Żeby porównanie było uczciwe, wszyscy wykonawcy dostali dokładnie to samo. Treść polecenia była tym samym plikiem, przeniesionym między maszynami i sprawdzonym sumą kontrolną. Nikt nie widział, co zrobili inni. Nikt nie dostał wskazówki po drodze. Każdy miał jedno podejście, a to, co oddał, trafiło na serwer bez jednej poprawionej linii.

Wynik w trzech zdaniach

Dwie części

Przegląd — cztery zadania rozdane wszystkim dziewięciu wykonawcom: ocena dokumentów, strona z mapą, scena trójwymiarowa i gra przeglądarkowa. Każdy dostał wszystkie cztery, w każdym trybie, jaki jego model obsługuje.

Bateria — zestaw zadań biurowych puszczony przez trzy modele z ekspertami, które z przeglądu wyszły najlepiej: pięć zadań tekstowych, trzy na obrazach, test wywoływania narzędzi, test wytrzymałości, prosta gra i porównanie modelu przed kwantyzacją i po niej.

Bateria jest konsekwencją przeglądu: z dziewięciu wykonawców do dalszego sprawdzania kwalifikowały się tylko modele z ekspertami, więc zamiast powtarzać całość, sprawdziliśmy tę trójkę głębiej i na pracy bliższej temu, do czego takie modele realnie się nadają.

Czego z tych liczb nie wolno wyczytać

Każdy wynik pochodzi z jednego podejścia. Żadna liczba nie jest średnią, więc różnica rzędu kilku procent nie jest różnicą. Ten sam model zapytany dwa razy o to samo odpowie za każdym razem inaczej — to cecha konstrukcji, nie usterka. Test nie sprawdzał też trybu, w którym takie modele pracują na co dzień: rozmowy w kilku turach, z poprawkami.

Metoda.

Stanowisko, zadania i sposób pomiaru.

Stanowisko

Modele lokalne chodziły na komputerze z układem graficznym NVIDIA GB10 i stu dwudziestoma ośmioma gigabajtami pamięci dzielonej między procesor a układ graficzny. Oprogramowanie serwujące: vLLM w obrazie przypiętym do konkretnej wersji, ten sam dla wszystkich modeli, żeby różnica w wyniku nie brała się z różnicy w środowisku.

Przy przeglądzie maszyna obsługiwała jeden duży model naraz; każda zmiana oznaczała wyładowanie modelu i wczytanie następnego, co samo w sobie zajmuje od czterech do jedenastu minut. Przy baterii okazało się, że dwa modele stoją obok siebie na jednej takiej maszynie bez problemu, pod jednym warunkiem — muszą wczytywać się po kolei, a nie równolegle. Puszczone równolegle ścigają się o pamięć i drugi pada na braku miejsca na pamięć kontekstu.

Cztery zadania przeglądu

• Ocena dokumentów. Trzy dokumenty handlowe, razem pięćdziesiąt pięć tysięcy znaków. Polecenie: streścić każdy z osobna, a potem ocenić bez taryfy ulgowej, czy spełnia swoje zadanie, z dosłownymi cytatami i jednoznacznym werdyktem — nadaje się, nadaje się po poprawkach, nie nadaje się.
• Strona z mapą. Jeden plik, ponad tysiąc linii, w środku mapa miasta rysowana grafiką wektorową: jedenaście wyróżnionych punktów w podanych współrzędnych, węzeł centralny połączony z nimi liniami, zabudowa tła, siatka ulic, rzeka, dymki z podpisami. Do tego cała treść strony produktowej. Siedemnaście tysięcy znaków polecenia.
• Scena trójwymiarowa. Ta sama treść strony, ale zamiast mapy wyspa unosząca się w przestrzeni, rysowana w przeglądarce. Zadanie trudniejsze o jeden wymiar: trzeba ustawić kamerę, światło i skalę tak, żeby widz w ogóle zobaczył to, co model zbudował.
• Gra. Kolejka linowa nad morzem chmur, dwie stacje, tor z zakrętami i mostami, sterowanie klawiszami, licznik prędkości i pasażerów, system komfortu jazdy, druga scena z warsztatem. Wszystko w jednym pliku. Trzy tysiące trzysta znaków polecenia.

Bateria

Bateria sprawdza nie to, czy model zbuduje stronę, tylko czy nadaje się do pracy biurowej: czytania długich materiałów, wyciągania z nich ustaleń, trzymania narzuconego formatu, odczytu zrzutów ekranu i wywoływania narzędzi. Pełny opis zadań w zakładce Bateria.

Co mierzyliśmy

Czas od wysłania polecenia do ostatniego znaku odpowiedzi. Długość odpowiedzi i osobno długość samego rozumowania. Powód zakończenia — czy model skończył, bo powiedział wszystko, czy dlatego, że wyczerpał przyznany budżet. Przy zadaniach graficznych dodatkowo: czy strona otwiera się bez błędu w konsoli przeglądarki, czy widać to, co miało być widać, i czy da się tym sterować.

Czego nie mierzyliśmy

Zużycia prądu ani obciążenia maszyny. Przebiegów nie powtarzaliśmy. Grywalności nie oceniała zdalna przeglądarka wciskająca syntetyczne klawisze — ta metoda cztery razy z rzędu dała werdykt niezgodny z tym, co widać na ekranie. Z automatu raportujemy wyłącznie błędy konsoli i to, co widać na zrzucie; o tym, czy grą da się grać, rozstrzyga człowiek, otwierając ją u siebie.

Uczestnicy.

Sześć modeli na własnym sprzęcie, trzech wykonawców na modelach dostępnych przez sieć.

Modele lokalne

Sterowania myśleniem nie da się odgadnąć

Ani z nazwy modelu, ani z dokumentacji producenta. Trzeba zajrzeć do szablonu rozmowy, który każdy model niesie ze sobą, i sprawdzić, jakie przełączniki są w nim obsłużone. Przy Qwenie 3.8 kosztowało to cztery godziny: model ma trzy poziomy wysiłku, domyślnym jest najwyższy, a pierwsze podejście do strony z mapą wyprodukowało dwieście czterdzieści sześć tysięcy znaków rozumowania i ani jednej linii kodu.

Wykonawcy na modelach zewnętrznych

Zadanie: ocena dokumentów.

Pięćdziesiąt pięć tysięcy znaków do przeczytania, streszczenia i oceny z werdyktem.

Materiałem były trzy dokumenty handlowe. Polecenie mówiło wprost, że ocena ma być szorstka, bez uprzejmości i bez podsumowań w rodzaju „ogólnie dobry dokument”, z dosłownymi cytatami i jednym z trzech werdyktów. Zadanie sprawdza czytanie ze zrozumieniem, zdolność do znalezienia sprzeczności wewnątrz długiego materiału i gotowość do wystawienia oceny negatywnej.

Jedyny przebieg bez odpowiedzi

Qwen 3.8 na najwyższym poziomie wysiłku po trzydziestu pięciu minutach wyczerpał budżet na samym rozumowaniu — pięćdziesiąt trzy tysiące znaków rozważań i zero znaków odpowiedzi. Ten sam wzorzec zabił wcześniej jego podejście do strony z mapą.

Wyłączone myślenie dawało ostrzejsze oceny

Trzy modele — oba Qweny i Gemma 4 26B — bez myślenia wystawiły ocenianemu dokumentowi werdykt „nie nadaje się”, a z myśleniem złagodziły go do „nadaje się po poprawkach”. Wyjątkiem jest Gemma 4 31B, która w obu trybach została przy werdykcie negatywnym. Rozumowanie na tekście służy modelowi głównie do szukania okoliczności łagodzących.

Co dało się z tego wyciągnąć

Wartością tego zadania nie jest tabela, tylko treść zarzutów. Modele wyłapały wewnętrzne sprzeczności między okładką a stopką tego samego dokumentu, twierdzenia niepoparte materiałem dowodowym w tym samym pliku, kluczowe pojęcie użyte kilkadziesiąt razy i nigdzie nie zdefiniowane, oraz sekcję zakazów bez odpowiadającej jej sekcji dopuszczalnych odpowiedzi. Kilka z tych zarzutów nie padło wcześniej z ust żadnego człowieka, który ten materiał czytał. Na tym zadaniu model lokalny jest realnie użyteczny.

Zadanie: strona z mapą i scena 3D.

Dwanaście podejść modeli lokalnych do zadania, o którym wiadomo, że jest wykonalne.

Zadanie było uczciwe w tym sensie, że wzorzec istnieje: strona z tej samej treści polecenia została wcześniej zbudowana przez model zewnętrzny i działa na produkcji. Wiadomo więc, że polecenie jest wykonalne i że da się z niego zbudować to, co opisuje.

Dwanaście podejść modeli lokalnych, z czego dwa doszły do czegoś, co przypomina mapę miasta, a dziesięć nie. Żadne nie nadaje się do pokazania. Przy patrzeniu wyłącznie na siebie nawzajem łatwo uznać najmniej złe podejście za dobre — miarą jest strona, która działa, nie reszta stawki.

Jeden błąd powtarza się u wszystkich

Niezależnie od modelu, rozmiaru i trybu myślenia wzorzec porażki jest ten sam: treść i układ powstają poprawnie, a rysunek powstaje poza kadrem. Zabudowa jest w kodzie, tylko w skali stukrotnie za małej. Etykiety są, tylko za lewą krawędzią. Kamera jest ustawiona, tylko wewnątrz bryły albo pod nią. Konsola w większości przypadków milczy, bo z punktu widzenia przeglądarki nic złego się nie dzieje. Model sprawdza kod przez czytanie kodu, a kod jest poprawny.

Agent, który widzi swój wynik

Wykonawca na gpt-6-astra oddał obie wersje strony z pełną treścią, przełącznikiem między widokami, etapami pojawiającymi się przy przewijaniu i kartami tematycznymi zmieniającymi się przy każdym etapie. Sprawdzał swoją pracę w przeglądarce i poprawiał to, co znalazł.

Na jednym elemencie ta kontrola nie zadziałała — narzędzie do analizy obrazu odmówiło mu dostępu, więc układ sprawdzał przez odczytanie struktury dokumentu zamiast przez patrzenie. I dokładnie tam wynik jest taki sam jak u modeli lokalnych: mapa nie pojawia się w kadrze, a licznik obiektów stoi na zerze. Granica przebiega nie między modelami, tylko między widzeniem wyniku a czytaniem kodu.

Zadanie: gra przeglądarkowa.

Najostrzejsze z zadań, bo wynik albo da się uruchomić i przejechać, albo nie.

Gra sprawdza coś, czego trzy poprzednie zadania nie sprawdzają. Dokument można ocenić po przeczytaniu, stronę po obejrzeniu, ale grę trzeba uruchomić i pojechać. Jeśli pociąg nie rusza, nie ma znaczenia, jak wygląda stacja.

Dwa wyniki warte uwagi

Agent zbudował jedyny świat, po którym widać, że ktoś czytał opis miasteczka: wyspa ma kształt, peron ma szyld z nazwą stacji, na peronie stoją ludzie, a most prowadzi gdzieś dalej. Jazda jest jednak szarpana — pociąg skacze zamiast płynąć po torze, czyli ta część zadania, która mówiła o wrażeniu jazdy, wypadła najsłabiej.

Fable zrobił odwrotnie: najlepiej odtworzył drobiazgi polecenia — liczbę pasażerów, pasek komfortu, warunki na trasie, przyciski mocy i hamulca, przycisk warsztatu — i najlepiej trafił w to, jak taka gra ma się prowadzić. Obciążył za to pierwszą klatkę cieniami: dwie mapy cieni 2048 × 2048 z miękkim filtrowaniem, dziewięćset instancji chmur oraz szyny, podkłady i słupy, wszystko rzucające cień. Na maszynie z mocnym układem graficznym jest grywalne, na słabszej się zacina.

Najlepszy możliwy wynik to grafika i świat od pierwszego wykonawcy połączone z silnikiem jazdy i dbałością o szczegóły od drugiego. Żaden pojedynczy przebieg tego nie osiągnął.

Dlaczego gry wywracają się częściej niż strony

Strona, która rysuje się źle, nadal się wyświetla. Gra, która rysuje się źle, przestaje być grą. Dochodzi do tego pętla — kod wykonywany sześćdziesiąt razy na sekundę. Jeden błąd w tej pętli zatrzymuje wszystko, i właśnie tam wywróciły się oba przebiegi Qwena 3.6: tor został zbudowany jako pusta krzywa, a pętla przy pierwszym obrocie pyta tę krzywą o punkt, którego nie ma.

Drugi powtarzalny błąd to sięganie po polecenia, których w użytej bibliotece nie ma. Model pamięta nazwę z innej wersji, wpisuje ją, i strona umiera przy starcie. Qwen 3.8 bez myślenia i Gemma 4 31B bez myślenia poległy na tym, każdy na innym poleceniu.

Prostsze zadanie

Trzy modele z baterii dostały zadanie celowo najprostsze z możliwych — ładna mapa, po której chodzi ludzik, żadnych przeciwników, punktów ani poziomów. Chodziło o sprawdzenie, czy porażki na kolejce brały się z modelu, czy ze złożoności zadania. Wyniki otwierają się i renderują, ale żaden nie jest tym, co opisywało polecenie: grafika i sterowanie pozostają słabym punktem wszystkich trzech. Czasy w zakładce Bateria.

Bateria modeli z ekspertami.

Praca biurowa zamiast budowania stron.

Po przeglądzie było jasne, że do dalszego sprawdzania wchodzą wyłącznie modele z ekspertami: gęste kosztują pięciokrotnie więcej czasu przy tej samej albo gorszej jakości. Zostały trzy — Qwen 3.6-35B-A3B, Gemma 4 26B-A4B i Ornith 1.5-35B-A3B — i te trzy przeszły baterię zbudowaną z materiałów roboczych: automatycznego transkryptu spotkania, zgłoszenia usterki technicznej, dokumentów handlowych i zrzutów ekranu z przeglądu.

Pięć zadań tekstowych

Wyniki — budżet standardowy

„budżet” znaczy, że model zużył cały przyznany limit na samo rozumowanie i skończył, nie napisawszy odpowiedzi. To nie jest zerowy wynik merytoryczny, tylko zderzenie trybu myślenia z limitem dwóch tysięcy tokenów.

Ten sam zestaw z budżetem pięciokrotnie większym

Trzy zadania na obrazach

w2 i w3 to para: model, który na wszystko odpowiada „tak, widać”, zdobywa punkt na jednym i traci na drugim. Sprawdzamy patrzenie, nie uprzejmość.

Odczyt tabeli ze zrzutu rozdzielił tę trójkę mocniej niż cokolwiek innego: Ornith 4/4 w każdym trybie, Qwen 3/4, Gemma 1/4. Wszystkie trzy mają wzrok, ale tylko jeden czyta nim liczby na tyle wiernie, żeby oprzeć na tym pracę z dokumentami.

Wywoływanie narzędzi

Trzy narzędzia: wypisz zadania z projektu, przeczytaj zadanie, dopisz komentarz. Model dostaje polecenie w jednym zdaniu, a odpowiedzi narzędzi są przygotowane z góry. Liczy się, czy wywoła właściwe narzędzia we właściwej kolejności, poda właściwe argumenty i zamelduje prawdę o tym, co zrobił.

Cztery na cztery, w obu trybach, w tej samej kolejności wywołań. Różnica jest w tonie meldunku: Qwen i Gemma odpowiadają jednym zdaniem, Ornith rozpisuje się na punkty i cytuje treść komentarza.

Test wytrzymałości

Sto zapytań pod rząd, mieszanych co do długości i rodzaju, co siódme z włączonym myśleniem, z automatycznym wykrywaczem uszkodzonej odpowiedzi: pusta odpowiedź, zbyt mały udział liter, powtarzające się znaczniki rozumowania, długie ciągi jednego znaku, ciągi znaków ramek.

Ten test powstał po kwantyzacji, żeby wykluczyć uszkodzenie modelu: model uszkodzony przy kwantyzacji po stu zapytaniach sypie znakami ramek i powtórkami. Tu nie wystąpił ani jeden taki przypadek.

Gra: ludzik na mapie

Ornith 1.5 na trzech zadaniach przeglądu

Ornith 1.5 FP8 dostał później te same trzy zadania graficzne co uczestnicy przeglądu — mapę, scenę trójwymiarową i grę — z identyczną treścią polecenia.

Budżet odpowiedzi w tych przebiegach wynosił 120 000 tokenów — tyle samo, co u pozostałych uczestników, dla porównywalności. Okno kontekstu modelu jest ponad dwa razy większe, więc tam, gdzie w tabeli stoi „wyczerpany budżet”, jest to sufit ustawienia zapytania, a nie granica możliwości modelu.

Kwantyzacja FP8.

Jedyny model w zestawie bez gotowej wersji skwantyzowanej — i to, czego nie ma w żadnej instrukcji.

Po co

Ornith wypadł w baterii najlepiej z całej trójki, ale w pełnej precyzji zajmował tyle pamięci, że nie mieścił się obok drugiego modelu z sensownym oknem kontekstu. Pytanie brzmiało: czy da się go zmniejszyć o połowę bez utraty tego, za co został wybrany.

Dwie ślepe uliczki

• Gotowa wersja NVFP4 od producenta nie wczytuje się na tym stosie. Przypięty obraz vLLM nie obsługuje tego układu wag dla modeli z ekspertami i wywraca się na braku jednego klucza skali. Z przypiętej wersji nie schodzi się dla jednego modelu.
• Pierwsza własna próba dała model bez wieży wizyjnej. Standardowa klasa ładująca modele językowe zgubiła część odpowiedzialną za obraz, a konfiguracja przestała pasować sama do siebie. Naprawa: ładować klasą dla modeli tekstowo-obrazowych.

Awaria, która wyjaśniła całą resztę

Druga próba dała model kompletny, wczytujący się poprawnie — i produkujący śmieci: powtarzające się znaczniki rozumowania, niemieckie słowa w polskiej odpowiedzi, długie ciągi znaków ramek. Model, który prawie działa, jest gorszy od modelu, który nie wstaje.

Przyczynę widać dopiero w spisie warstw: trzydzieści z czterdziestu warstw tej architektury to nie klasyczna uwaga, tylko warstwy stanowe — inna konstrukcja, z własnymi macierzami i parametrami czasowymi. Kwantyzator traktował je jak zwykłe warstwy liniowe i psuł im skalę. Poprawka to rozszerzenie listy pominięć o te warstwy, o eksperta współdzielonego, o bramkę wyboru ekspertów i o całą wieżę wizyjną.

Ile to kosztowało jakości

Przepustowość — znaki na sekundę, ten sam sprzęt

Liczone razem z rozumowaniem, bo ono też jest pracą modelu. Wcześniejsze wrażenie, że Ornith jest wolny, brało się z pomiaru czasu zamiast prędkości: on nie jest wolny, tylko gadatliwy. Przy tej samej prędkości pisania oddaje dłuższą odpowiedź.

Czasy.

Cztery modele przepuszczone przez identyczne stanowisko, od najszybszego do najwolniejszego.

Poniższe cztery modele przeszły wszystkie cztery zadania przeglądu na tym samym stanowisku, w identyczny sposób. Przy modelach z dwoma trybami podane są dwie liczby: bez myślenia i z myśleniem. Oba tryby jednego zadania liczyły się równolegle, więc czas całego przeglądu jest krótszy niż suma pozycji.

Dwa modele z ekspertami zamknęły komplet w niecałe dwadzieścia minut. Gemma 4 31B, model gęsty o zbliżonej liczbie parametrów, potrzebowała pięć razy tyle. To różnica konstrukcji, nie jakości: model z ekspertami przy każdym słowie używa ułamka swoich parametrów.

Qweny przechodziły przez wcześniejszy, mniej jednolity zestaw pomiarów, więc ich czasów nie da się zestawić w tej samej tabeli. Rzędy wielkości: Qwen 3.6 z myśleniem zbudował mapę w trzydzieści pięć minut, Qwen 3.8 bez myślenia w pięćdziesiąt osiem minut, na poziomie low w pięćdziesiąt pięć. Na poziomie medium ta sama mapa zajęła trzy godziny dwadzieścia cztery minuty i nie powstała, a na poziomie xhigh — cztery godziny i również nie powstała.

Ile kodu powstało

Liczba znaków kodu nie mówi nic o jakości, ale pokazuje charakter modelu. Najwięcej napisał Qwen3-Coder-Next: siedemdziesiąt jeden tysięcy znaków na mapę i pięćdziesiąt siedem tysięcy na scenę 3D, przy zerowym efekcie widocznym na ekranie. Najmniej Gemma 4 26B — dwadzieścia pięć tysięcy. Wersje bez myślenia konsekwentnie produkowały więcej kodu niż wersje z myśleniem u tego samego modelu, i częściej ten kod się wywracał.

Bateria: prędkość pisania

W baterii mierzyliśmy to samo inaczej — znakami na sekundę, licząc razem odpowiedź i rozumowanie. Zestawienie przed kwantyzacją i po niej jest w zakładce Kwantyzacja. Rząd wielkości dla wszystkich trzech modeli na tym sprzęcie: od siedemdziesięciu do stu czterdziestu znaków na sekundę, zależnie od modelu, trybu i długości materiału wejściowego.

Charakter modeli.

Czym każdy okazał się w praktyce i do czego się w tym teście nadał.

Wnioski.

Pięć rzeczy, które ten test ustalił.

Modele lokalne czytają dobrze i rysują źle

Na czterdziestu przebiegach przeglądu rozkład jest jednoznaczny. Wszystkie modele poza jednym przebiegiem oddały użyteczną ocenę dokumentów w czasie od minuty do kilkunastu minut, a część z nich podniosła zarzuty, których nie postawił żaden człowiek czytający ten materiał. Na trzech zadaniach graficznych żaden z dwunastu lokalnych przebiegów nie dał wyniku nadającego się do pokazania. To nie jest kwestia rozmiaru: osiemdziesięciomiliardowy Qwen3-Coder-Next wypadł na stronie tak samo źle jak dwudziestosześciomiliardowa Gemma, tylko napisał przy tym trzy razy więcej kodu.

Więcej myślenia nie znaczy lepiej

Przy Qwenie 3.8 zależność jest odwrotna: poziom low działa, medium zapętla się, xhigh nie oddaje nic. To samo widać na tekście — wyłączenie myślenia dawało ostrzejsze werdykty niż włączenie. Przy pozostałych modelach związek między trybem a jakością okazał się przypadkowy: na stronie lepsza bywała wersja bez myślenia, na grze z myśleniem, i odwrotnie.

Budżet odpowiedzi trzeba dobrać do trybu, nie do zadania

Rozumowanie zjada ten sam limit co odpowiedź, więc model z włączonym myśleniem na limicie dobranym do trybu bez myślenia po prostu milknie. Przy pięciokrotnie większym budżecie prawie wszystkie porażki trybu myślenia zniknęły. Każda konfiguracja, która włącza myślenie, musi jednocześnie podnieść limit — inaczej puste odpowiedzi zostaną wzięte za awarię modelu.

Decyduje możliwość obejrzenia własnej pracy

Najważniejszy wynik nie dotyczy żadnego modelu z osobna. Dominujący błąd na zadaniach graficznych nie jest błędem w kodzie — kod jest poprawny, konsola milczy, a rysunek powstaje poza widocznym obszarem. Tego rodzaju pomyłki nie da się znaleźć przez czytanie kodu; trzeba zobaczyć wynik. Modele lokalne pracowały w jednym podejściu, bez możliwości sprawdzenia siebie, i wszystkie na tym poległy. Wykonawca, który sprawdza swoją pracę w przeglądarce, na trzech zadaniach z czterech wypadł wyraźnie lepiej — a tam, gdzie tej kontroli zabrakło, wpadł w dokładnie tę samą pułapkę.

Żaden wykonawca nie dostarczył wszystkiego naraz

Przy zadaniu z grą najlepszy świat zbudował jeden wykonawca, a najlepszą jazdę i najwierniejsze odtworzenie polecenia — inny. To samo w baterii: Gemma czyta tekst najszybciej, Ornith czyta obrazki najwierniej, Qwen jest najbardziej zrównoważony. Praktyczny wniosek nie brzmi „wybierz zwycięzcę”, tylko: tę samą sprawę warto puścić przez kilka modeli i zobaczyć, gdzie się rozjeżdżają.

Do czego te modele się nadają

• Praca z tekstem. Czytanie długich materiałów, streszczanie, ocena dokumentów, wyciąganie ustaleń, trzymanie narzuconego formatu, odpowiadanie na pytania o treść. Tu modele lokalne są szybkie i wystarczająco dokładne.
• Wywoływanie narzędzi. Wszystkie trzy modele baterii przeszły ten test w obu trybach. Agentowość nie jest wąskim gardłem.
• Odczyt zrzutów ekranu i tabel z obrazów — ale tylko przy modelu, który to potrafi. Rozrzut w tej jednej umiejętności był większy niż we wszystkim innym, więc trzeba ją sprawdzić osobno i nie zakładać z nazwy modelu.
• Nie do zadań, których wynikiem jest coś widocznego na ekranie — chyba że wykonawca ma możliwość obejrzenia i poprawienia tego, co zbudował.
• Modele gęste kosztują pięciokrotnie więcej czasu przy tej samej albo gorszej jakości. Przy tym samym sprzęcie wybór pada na modele z ekspertami.

Linki do wyników.

Każdy plik dokładnie taki, jaki oddał wykonawca. Nikt po nikim nie poprawiał ani jednej linii.

Modele zewnętrzne

Qwen 3.6-35B-A3B

Qwen 3.8-27B

Gemma 4 26B-A4B

Gemma 4 31B

Qwen3-Coder-Next 80B

Ornith

Ornith 1.0 przeszedł przegląd, Ornith 1.5 FP8 dostał te same trzy zadania później i jest w tabelach osobno. Spis wszystkich ośmiu podejść do ludzika na mapie: chlopek.

Słowniczek.

Pojęcia użyte na tej stronie, wyjaśnione raz.

O pomiarach

Wszystkie czasy są zmierzone, żaden nie jest szacunkiem. Każdy pochodzi z jednego podejścia — przebiegów nie powtarzaliśmy, więc żadna liczba nie jest średnią. Surowe odpowiedzi modeli, łącznie z zapisem rozumowania, są zachowane.

CRODU · crodu.com · hello@crodu.com