AMD iGPU (780M)

[Djip007]

I added a small patch :

• enable HIP_UMA by default => so on HIP GPU all RAM ca be use (not limited to VRAM)
• merge update HIP_UMA #7399 ggerganov/llama.cpp#7414 optimisation part.

with that you may see some speed-up over CPU in large prompt processing.

For now you ca find the path here: https://github.com/Djip007/llamafile/releases/tag/0.8.6_uma / https://github.com/Djip007/llamafile/tree/feature/hip_uma_2

To use it on Radeon 780M Graphics (Ryzen 7040 / 8040) after rocblas+hipblas+dev install I use:

HSA_OVERRIDE_GFX_VERSION=11.0.1 ./llamafile-0.8.6_UMA -m ./<model> --gpu AMD --no-mmap --recompile <...> -p "<...>"

What do you think? Is it working for you, with what speed?

[Djip007]

For me I have that speed: (AMD Ryzen 9 7940HS w/ Radeon 780M Graphics (znver4) / 64Go RAM@5600)

• CPU

./llamafile-0.8.6_UMA -m ./Mistral-7B-Instruct-v0.3.Q6_K.llamafile -n 16 \
--temp 0 -c 1024 -p "[INST]tu peux me faire un resumé en francais du texte suivant:

Maria Salomea Skłodowska naît à Varsovie, capitale du royaume de Pologne, fondé en 1815 par le congrès de Vienne au profit du tsar Alexandre et étroitement lié à l'Empire russe. À cette époque, à la suite de l'insurrection polonaise de 1861-1864, la Russie procède au transfert des ministères polonais de Varsovie à Saint-Pétersbourg et lance une politique de russification du royaume.
Son père, issu d'une famille noble (clan Dołęga), est professeur de mathématiques et de physique ; sa mère est institutrice. Avant Marie, ils ont eu trois filles et un fils : Zofia (1861-1876), Józef (1863-1937), Bronisława (Bronia) (1865-1939)6 et Helena (1866-1961).
En l’espace de deux années, elle perd sa sœur Zofia, morte du typhus en janvier 1876, et sa mère, qui succombe à la tuberculose le 9 mai 1878. Elle se réfugie alors dans les études où elle excelle dans toutes les matières, et où la note maximale lui est accordée. Elle obtient ainsi son diplôme de fin d’études secondaires avec la médaille d’or en 1883. Elle adhère à la doctrine positiviste d'Auguste Comte et rejoint l'Université volante, organisation clandestine qui pratique l'éducation des masses en polonais, en réaction à la politique de russification.
Marie Curie souhaiterait faire des études supérieures, mais cela est interdit aux femmes dans son pays natal. Lorsque sa sœur Bronia part à Paris étudier la médecine, Maria s'engage comme gouvernante dans une famille de province pour financer un projet similaire. À ce moment-là, elle a l'intention de revenir ensuite en Pologne pour enseigner, éventuellement dans le cadre de l'Université volante. Au bout de trois ans, elle rentre à Varsovie, où un cousin lui permet d'entrer dans un laboratoire
[/INST]"

llama_print_timings:        load time =     238.49 ms
llama_print_timings:      sample time =       0.14 ms /    16 runs   (    0.01 ms per token, 113475.18 tokens per second)
llama_print_timings: prompt eval time =    7167.63 ms /   596 tokens (   12.03 ms per token,    83.15 tokens per second)
llama_print_timings:        eval time =    1737.69 ms /    15 runs   (  115.85 ms per token,     8.63 tokens per second)
llama_print_timings:       total time =    8908.66 ms /   611 tokens

• GPU (rocm-6.0/Linux)

HSA_OVERRIDE_GFX_VERSION=11.0.1 ./llamafile-0.8.6_UMA -m ./Mistral-7B-Instruct-v0.3.Q6_K.llamafile --gpu AMD --no-mmap --recompile -n 16 \
--temp 0 -c 1024 -p "[INST]tu peux me faire un resumé en francais du texte suivant:

Maria Salomea Skłodowska naît à Varsovie, capitale du royaume de Pologne, fondé en 1815 par le congrès de Vienne au profit du tsar Alexandre et étroitement lié à l'Empire russe. À cette époque, à la suite de l'insurrection polonaise de 1861-1864, la Russie procède au transfert des ministères polonais de Varsovie à Saint-Pétersbourg et lance une politique de russification du royaume.
Son père, issu d'une famille noble (clan Dołęga), est professeur de mathématiques et de physique ; sa mère est institutrice. Avant Marie, ils ont eu trois filles et un fils : Zofia (1861-1876), Józef (1863-1937), Bronisława (Bronia) (1865-1939)6 et Helena (1866-1961).
En l’espace de deux années, elle perd sa sœur Zofia, morte du typhus en janvier 1876, et sa mère, qui succombe à la tuberculose le 9 mai 1878. Elle se réfugie alors dans les études où elle excelle dans toutes les matières, et où la note maximale lui est accordée. Elle obtient ainsi son diplôme de fin d’études secondaires avec la médaille d’or en 1883. Elle adhère à la doctrine positiviste d'Auguste Comte et rejoint l'Université volante, organisation clandestine qui pratique l'éducation des masses en polonais, en réaction à la politique de russification.
Marie Curie souhaiterait faire des études supérieures, mais cela est interdit aux femmes dans son pays natal. Lorsque sa sœur Bronia part à Paris étudier la médecine, Maria s'engage comme gouvernante dans une famille de province pour financer un projet similaire. À ce moment-là, elle a l'intention de revenir ensuite en Pologne pour enseigner, éventuellement dans le cadre de l'Université volante. Au bout de trois ans, elle rentre à Varsovie, où un cousin lui permet d'entrer dans un laboratoire
[/INST]"

llama_print_timings:        load time =    1798.83 ms
llama_print_timings:      sample time =       0.12 ms /    16 runs   (    0.01 ms per token, 139130.43 tokens per second)
llama_print_timings: prompt eval time =    3036.74 ms /   596 tokens (    5.10 ms per token,   196.26 tokens per second)
llama_print_timings:        eval time =    1227.77 ms /    15 runs   (   81.85 ms per token,    12.22 tokens per second)
llama_print_timings:       total time =    4268.64 ms /   611 tokens

[qkiel]

Thank you!

On my AMD 5600G APU with ROCm 6.1.1 / Ubuntu 22.04, the CPU is faster than the GPU, but using the GPU is still a better option because the system is more responsive.

• CPU

HSA_OVERRIDE_GFX_VERSION=9.0.0 ./llamafile-0.8.6_UMA -m ~/Shared/./Mistral-7B-Instruct-v0.3.Q6_K.llamafile -n 16 \
--temp 0 -c 1024 -p "[INST]tu peux me faire un resumé en francais du texte suivant:

Maria Salomea Skłodowska naît à Varsovie, capitale du royaume de Pologne, fondé en 1815 par le congrès de Vienne au profit du tsar Alexandre et étroitement lié à l'Empire russe. À cette époque, à la suite de l'insurrection polonaise de 1861-1864, la Russie procède au transfert des ministères polonais de Varsovie à Saint-Pétersbourg et lance une politique de russification du royaume.
Son père, issu d'une famille noble (clan Dołęga), est professeur de mathématiques et de physique ; sa mère est institutrice. Avant Marie, ils ont eu trois filles et un fils : Zofia (1861-1876), Józef (1863-1937), Bronisława (Bronia) (1865-1939)6 et Helena (1866-1961).
En l’espace de deux années, elle perd sa sœur Zofia, morte du typhus en janvier 1876, et sa mère, qui succombe à la tuberculose le 9 mai 1878. Elle se réfugie alors dans les études où elle excelle dans toutes les matières, et où la note maximale lui est accordée. Elle obtient ainsi son diplôme de fin d’études secondaires avec la médaille d’or en 1883. Elle adhère à la doctrine positiviste d'Auguste Comte et rejoint l'Université volante, organisation clandestine qui pratique l'éducation des masses en polonais, en réaction à la politique de russification.
Marie Curie souhaiterait faire des études supérieures, mais cela est interdit aux femmes dans son pays natal. Lorsque sa sœur Bronia part à Paris étudier la médecine, Maria s'engage comme gouvernante dans une famille de province pour financer un projet similaire. À ce moment-là, elle a l'intention de revenir ensuite en Pologne pour enseigner, éventuellement dans le cadre de l'Université volante. Au bout de trois ans, elle rentre à Varsovie, où un cousin lui permet d'entrer dans un laboratoire
[/INST]"

llama_print_timings:        load time =     336.07 ms
llama_print_timings:      sample time =       0.27 ms /    16 runs   (    0.02 ms per token, 59701.49 tokens per second)
llama_print_timings: prompt eval time =   16134.05 ms /   596 tokens (   27.07 ms per token,    36.94 tokens per second)
llama_print_timings:        eval time =    2026.56 ms /    15 runs   (  135.10 ms per token,     7.40 tokens per second)
llama_print_timings:       total time =   18165.50 ms /   611 tokens

• GPU first run

HSA_OVERRIDE_GFX_VERSION=9.0.0 ./llamafile-0.8.6_UMA -m ~/Shared/./Mistral-7B-Instruct-v0.3.Q6_K.llamafile --gpu AMD --no-mmap --recompile -n 16 \
--temp 0 -c 1024 -p "[INST]tu peux me faire un resumé en francais du texte suivant:

Maria Salomea Skłodowska naît à Varsovie, capitale du royaume de Pologne, fondé en 1815 par le congrès de Vienne au profit du tsar Alexandre et étroitement lié à l'Empire russe. À cette époque, à la suite de l'insurrection polonaise de 1861-1864, la Russie procède au transfert des ministères polonais de Varsovie à Saint-Pétersbourg et lance une politique de russification du royaume.
Son père, issu d'une famille noble (clan Dołęga), est professeur de mathématiques et de physique ; sa mère est institutrice. Avant Marie, ils ont eu trois filles et un fils : Zofia (1861-1876), Józef (1863-1937), Bronisława (Bronia) (1865-1939)6 et Helena (1866-1961).
En l’espace de deux années, elle perd sa sœur Zofia, morte du typhus en janvier 1876, et sa mère, qui succombe à la tuberculose le 9 mai 1878. Elle se réfugie alors dans les études où elle excelle dans toutes les matières, et où la note maximale lui est accordée. Elle obtient ainsi son diplôme de fin d’études secondaires avec la médaille d’or en 1883. Elle adhère à la doctrine positiviste d'Auguste Comte et rejoint l'Université volante, organisation clandestine qui pratique l'éducation des masses en polonais, en réaction à la politique de russification.
Marie Curie souhaiterait faire des études supérieures, mais cela est interdit aux femmes dans son pays natal. Lorsque sa sœur Bronia part à Paris étudier la médecine, Maria s'engage comme gouvernante dans une famille de province pour financer un projet similaire. À ce moment-là, elle a l'intention de revenir ensuite en Pologne pour enseigner, éventuellement dans le cadre de l'Université volante. Au bout de trois ans, elle rentre à Varsovie, où un cousin lui permet d'entrer dans un laboratoire
[/INST]"

llama_print_timings:        load time =    2588.26 ms
llama_print_timings:      sample time =       0.25 ms /    16 runs   (    0.02 ms per token, 64000.00 tokens per second)
llama_print_timings: prompt eval time =   22062.75 ms /   596 tokens (   37.02 ms per token,    27.01 tokens per second)
llama_print_timings:        eval time =    2162.12 ms /    15 runs   (  144.14 ms per token,     6.94 tokens per second)
llama_print_timings:       total time =   24230.37 ms /   611 tokens

• GPU second run without --recompile

HSA_OVERRIDE_GFX_VERSION=9.0.0 ./llamafile-0.8.6_UMA -m ~/Shared/./Mistral-7B-Instruct-v0.3.Q6_K.llamafile --gpu AMD --no-mmap -n 16 \
--temp 0 -c 1024 -p "[INST]tu peux me faire un resumé en francais du texte suivant:

Maria Salomea Skłodowska naît à Varsovie, capitale du royaume de Pologne, fondé en 1815 par le congrès de Vienne au profit du tsar Alexandre et étroitement lié à l'Empire russe. À cette époque, à la suite de l'insurrection polonaise de 1861-1864, la Russie procède au transfert des ministères polonais de Varsovie à Saint-Pétersbourg et lance une politique de russification du royaume.
Son père, issu d'une famille noble (clan Dołęga), est professeur de mathématiques et de physique ; sa mère est institutrice. Avant Marie, ils ont eu trois filles et un fils : Zofia (1861-1876), Józef (1863-1937), Bronisława (Bronia) (1865-1939)6 et Helena (1866-1961).
En l’espace de deux années, elle perd sa sœur Zofia, morte du typhus en janvier 1876, et sa mère, qui succombe à la tuberculose le 9 mai 1878. Elle se réfugie alors dans les études où elle excelle dans toutes les matières, et où la note maximale lui est accordée. Elle obtient ainsi son diplôme de fin d’études secondaires avec la médaille d’or en 1883. Elle adhère à la doctrine positiviste d'Auguste Comte et rejoint l'Université volante, organisation clandestine qui pratique l'éducation des masses en polonais, en réaction à la politique de russification.
Marie Curie souhaiterait faire des études supérieures, mais cela est interdit aux femmes dans son pays natal. Lorsque sa sœur Bronia part à Paris étudier la médecine, Maria s'engage comme gouvernante dans une famille de province pour financer un projet similaire. À ce moment-là, elle a l'intention de revenir ensuite en Pologne pour enseigner, éventuellement dans le cadre de l'Université volante. Au bout de trois ans, elle rentre à Varsovie, où un cousin lui permet d'entrer dans un laboratoire
[/INST]"

llama_print_timings:        load time =    2651.10 ms
llama_print_timings:      sample time =       0.25 ms /    16 runs   (    0.02 ms per token, 64516.13 tokens per second)
llama_print_timings: prompt eval time =   22074.89 ms /   596 tokens (   37.04 ms per token,    27.00 tokens per second)
llama_print_timings:        eval time =    2169.42 ms /    15 runs   (  144.63 ms per token,     6.91 tokens per second)
llama_print_timings:       total time =   24249.29 ms /   611 tokens

I'll do some testing with other versions of ROCm and see how that affects timings.

Edit:
I have the same results on ROCm 5.7 and using a bit smaller Mistral-7B-Instruct-v0.3.Q5_K_M.llamafile model. Still, I think the system is more responsive with GPU offloading, so thank you 🤗

[Djip007]

Thanks for this results. did not think it will work with this "old" GPU...

If I am correct your APU have pick power (and wikipedia is right):

• CPU ~750 Gflops
• GPU ~1700 GFlops (FP32)
  In my case 7940HS;
• CPU ~1000 GFlops
• GPU ~8600 GFlops (FP32)

so may be not that bad for your GPU...

But I you see I am sur there is some more to gain. First with your Zen3 CPU. jart mad good job on CPU but the weight storage is not ideal and sgemm in the case of AVX2 is memory limited for me with "correct" weight block storage we can have x2 gain for me... but nead more work.
For the GPU it is the same for me... but get closer to pick perf is more complicated than with GPU (at least for me) ...

May be with this PR (ggerganov/llama.cpp#6210) it would be simpler to make more test...

can you try a Mistral-7B-Instruct-v0.3.F16.llamafile with this GPU

HSA_OVERRIDE_GFX_VERSION=11.0.1 ./llamafile-0.8.6_UMA -m ./Mistral-7B-Instruct-v0.3.F16.llamafile --gpu AMD --no-mmap --recompile -n 16 \
--temp 0 -c 1024 -p "[INST]tu peux me faire un resumé en francais du texte suivant:

Maria Salomea Skłodowska naît à Varsovie, capitale du royaume de Pologne, fondé en 1815 par le congrès de Vienne au profit du tsar Alexandre et étroitement lié à l'Empire russe. À cette époque, à la suite de l'insurrection polonaise de 1861-1864, la Russie procède au transfert des ministères polonais de Varsovie à Saint-Pétersbourg et lance une politique de russification du royaume.
Son père, issu d'une famille noble (clan Dołęga), est professeur de mathématiques et de physique ; sa mère est institutrice. Avant Marie, ils ont eu trois filles et un fils : Zofia (1861-1876), Józef (1863-1937), Bronisława (Bronia) (1865-1939)6 et Helena (1866-1961).
En l’espace de deux années, elle perd sa sœur Zofia, morte du typhus en janvier 1876, et sa mère, qui succombe à la tuberculose le 9 mai 1878. Elle se réfugie alors dans les études où elle excelle dans toutes les matières, et où la note maximale lui est accordée. Elle obtient ainsi son diplôme de fin d’études secondaires avec la médaille d’or en 1883. Elle adhère à la doctrine positiviste d'Auguste Comte et rejoint l'Université volante, organisation clandestine qui pratique l'éducation des masses en polonais, en réaction à la politique de russification.
Marie Curie souhaiterait faire des études supérieures, mais cela est interdit aux femmes dans son pays natal. Lorsque sa sœur Bronia part à Paris étudier la médecine, Maria s'engage comme gouvernante dans une famille de province pour financer un projet similaire. À ce moment-là, elle a l'intention de revenir ensuite en Pologne pour enseigner, éventuellement dans le cadre de l'Université volante. Au bout de trois ans, elle rentre à Varsovie, où un cousin lui permet d'entrer dans un laboratoire
[/INST]"


llama_print_timings:        load time =   10259.12 ms
llama_print_timings:      sample time =       0.33 ms /    16 runs   (    0.02 ms per token, 49079.75 tokens per second)
llama_print_timings: prompt eval time =    2768.54 ms /   596 tokens (    4.65 ms per token,   215.28 tokens per second)
llama_print_timings:        eval time =    2872.38 ms /    15 runs   (  191.49 ms per token,     5.22 tokens per second)
llama_print_timings:       total time =    5648.17 ms /   611 tokens

[qkiel]

ROCm 6.1.1, Ubuntu 22.04, AMD 5600G

• GPU

HSA_OVERRIDE_GFX_VERSION=9.0.0 ./llamafile-0.8.6_UMA -m Shared/Mistral-7B-Instruct-v0.3.F16.llamafile --gpu AMD --no-mmap --recompile -n 16 \
--temp 0 -c 1024 -p "[INST]tu peux me faire un resumé en francais du texte suivant:

Maria Salomea Skłodowska naît à Varsovie, capitale du royaume de Pologne, fondé en 1815 par le congrès de Vienne au profit du tsar Alexandre et étroitement lié à l'Empire russe. À cette époque, à la suite de l'insurrection polonaise de 1861-1864, la Russie procède au transfert des ministères polonais de Varsovie à Saint-Pétersbourg et lance une politique de russification du royaume.
Son père, issu d'une famille noble (clan Dołęga), est professeur de mathématiques et de physique ; sa mère est institutrice. Avant Marie, ils ont eu trois filles et un fils : Zofia (1861-1876), Józef (1863-1937), Bronisława (Bronia) (1865-1939)6 et Helena (1866-1961).
En l’espace de deux années, elle perd sa sœur Zofia, morte du typhus en janvier 1876, et sa mère, qui succombe à la tuberculose le 9 mai 1878. Elle se réfugie alors dans les études où elle excelle dans toutes les matières, et où la note maximale lui est accordée. Elle obtient ainsi son diplôme de fin d’études secondaires avec la médaille d’or en 1883. Elle adhère à la doctrine positiviste d'Auguste Comte et rejoint l'Université volante, organisation clandestine qui pratique l'éducation des masses en polonais, en réaction à la politique de russification.
Marie Curie souhaiterait faire des études supérieures, mais cela est interdit aux femmes dans son pays natal. Lorsque sa sœur Bronia part à Paris étudier la médecine, Maria s'engage comme gouvernante dans une famille de province pour financer un projet similaire. À ce moment-là, elle a l'intention de revenir ensuite en Pologne pour enseigner, éventuellement dans le cadre de l'Université volante. Au bout de trois ans, elle rentre à Varsovie, où un cousin lui permet d'entrer dans un laboratoire
[/INST]"

llama_print_timings:        load time =   53737.90 ms
llama_print_timings:      sample time =       0.26 ms /    16 runs   (    0.02 ms per token, 62500.00 tokens per second)
llama_print_timings: prompt eval time =   10882.41 ms /   596 tokens (   18.26 ms per token,    54.77 tokens per second)
llama_print_timings:        eval time =    6127.07 ms /    15 runs   (  408.47 ms per token,     2.45 tokens per second)
llama_print_timings:       total time =   17017.16 ms /   611 tokens

• CPU for comparission

llama_print_timings:        load time =   10191.35 ms
llama_print_timings:      sample time =       0.26 ms /    16 runs   (    0.02 ms per token, 61068.70 tokens per second)
llama_print_timings: prompt eval time =   27223.02 ms /   596 tokens (   45.68 ms per token,    21.89 tokens per second)
llama_print_timings:        eval time =    4932.65 ms /    15 runs   (  328.84 ms per token,     3.04 tokens per second)
llama_print_timings:       total time =   32160.17 ms /   611 tokens

[Djip007]

Nice!

[Djip007]

merge request create: #473
🤞

[Djip007]

Hope anything work now

[qkiel]

New llamafile v0.8.7 works great. This time tested on Mistral-7B-Instruct-v0.3.Q5_K_M.llamafile:

HSA_OVERRIDE_GFX_VERSION=9.0.0 ./Mistral-7B-Instruct-v0.3.Q5_K_M.llamafile --gpu AMD --no-mmap -n 16 \
--temp 0 -c 1024 -p "[INST]tu peux me faire un resumé en francais du texte suivant:

Maria Salomea Skłodowska naît à Varsovie, capitale du royaume de Pologne, fondé en 1815 par le congrès de Vienne au profit du tsar Alexandre et étroitement lié à l'Empire russe. À cette époque, à la suite de l'insurrection polonaise de 1861-1864, la Russie procède au transfert des ministères polonais de Varsovie à Saint-Pétersbourg et lance une politique de russification du royaume.
Son père, issu d'une famille noble (clan Dołęga), est professeur de mathématiques et de physique ; sa mère est institutrice. Avant Marie, ils ont eu trois filles et un fils : Zofia (1861-1876), Józef (1863-1937), Bronisława (Bronia) (1865-1939)6 et Helena (1866-1961).
En l’espace de deux années, elle perd sa sœur Zofia, morte du typhus en janvier 1876, et sa mère, qui succombe à la tuberculose le 9 mai 1878. Elle se réfugie alors dans les études où elle excelle dans toutes les matières, et où la note maximale lui est accordée. Elle obtient ainsi son diplôme de fin d’études secondaires avec la médaille d’or en 1883. Elle adhère à la doctrine positiviste d'Auguste Comte et rejoint l'Université volante, organisation clandestine qui pratique l'éducation des masses en polonais, en réaction à la politique de russification.
Marie Curie souhaiterait faire des études supérieures, mais cela est interdit aux femmes dans son pays natal. Lorsque sa sœur Bronia part à Paris étudier la médecine, Maria s'engage comme gouvernante dans une famille de province pour financer un projet similaire. À ce moment-là, elle a l'intention de revenir ensuite en Pologne pour enseigner, éventuellement dans le cadre de l'Université volante. Au bout de trois ans, elle rentre à Varsovie, où un cousin lui permet d'entrer dans un laboratoire
[/INST]"

llama_print_timings:      sample time =       0.25 ms /    16 runs   (    0.02 ms per token, 64000.00 tokens per second)
llama_print_timings: prompt eval time =   20944.16 ms /   596 tokens (   35.14 ms per token,    28.46 tokens per second)
llama_print_timings:        eval time =    2127.92 ms /    15 runs   (  141.86 ms per token,     7.05 tokens per second)
llama_print_timings:       total time =   23080.31 ms /   611 tokens

Thank you 🥰