1/* SPDX-License-Identifier: GPL-2.0 */
 2/* NG4copy_page.S: Niagara-4 optimized copy page.
 3 *
 4 * Copyright (C) 2012 (davem@davemloft.net)
 5 */
 6
 7#include <asm/asi.h>
 8#include <asm/page.h>
 9
10	.text
11	.align		32
12
13	.register	%g2, #scratch
14	.register	%g3, #scratch
15
16	.globl		NG4copy_user_page
17NG4copy_user_page:	/* %o0=dest, %o1=src, %o2=vaddr */
18	prefetch	[%o1 + 0x000], #n_reads_strong
19	prefetch	[%o1 + 0x040], #n_reads_strong
20	prefetch	[%o1 + 0x080], #n_reads_strong
21	prefetch	[%o1 + 0x0c0], #n_reads_strong
22	set		PAGE_SIZE, %g7
23	prefetch	[%o1 + 0x100], #n_reads_strong
24	prefetch	[%o1 + 0x140], #n_reads_strong
25	prefetch	[%o1 + 0x180], #n_reads_strong
26	prefetch	[%o1 + 0x1c0], #n_reads_strong
271:
28	ldx		[%o1 + 0x00], %o2
29	subcc		%g7, 0x40, %g7
30	ldx		[%o1 + 0x08], %o3
31	ldx		[%o1 + 0x10], %o4
32	ldx		[%o1 + 0x18], %o5
33	ldx		[%o1 + 0x20], %g1
34	stxa		%o2, [%o0] ASI_ST_BLKINIT_MRU_P
35	add		%o0, 0x08, %o0
36	ldx		[%o1 + 0x28], %g2
37	stxa		%o3, [%o0] ASI_ST_BLKINIT_MRU_P
38	add		%o0, 0x08, %o0
39	ldx		[%o1 + 0x30], %g3
40	stxa		%o4, [%o0] ASI_ST_BLKINIT_MRU_P
41	add		%o0, 0x08, %o0
42	ldx		[%o1 + 0x38], %o2
43	add		%o1, 0x40, %o1
44	stxa		%o5, [%o0] ASI_ST_BLKINIT_MRU_P
45	add		%o0, 0x08, %o0
46	stxa		%g1, [%o0] ASI_ST_BLKINIT_MRU_P
47	add		%o0, 0x08, %o0
48	stxa		%g2, [%o0] ASI_ST_BLKINIT_MRU_P
49	add		%o0, 0x08, %o0
50	stxa		%g3, [%o0] ASI_ST_BLKINIT_MRU_P
51	add		%o0, 0x08, %o0
52	stxa		%o2, [%o0] ASI_ST_BLKINIT_MRU_P
53	add		%o0, 0x08, %o0
54	bne,pt		%icc, 1b
55	 prefetch	[%o1 + 0x200], #n_reads_strong
56	retl
57	 membar		#StoreLoad | #StoreStore
58	.size		NG4copy_user_page,.-NG4copy_user_page

 
 1/* NG4copy_page.S: Niagara-4 optimized copy page.
 2 *
 3 * Copyright (C) 2012 (davem@davemloft.net)
 4 */
 5
 6#include <asm/asi.h>
 7#include <asm/page.h>
 8
 9	.text
10	.align		32
11
12	.register	%g2, #scratch
13	.register	%g3, #scratch
14
15	.globl		NG4copy_user_page
16NG4copy_user_page:	/* %o0=dest, %o1=src, %o2=vaddr */
17	prefetch	[%o1 + 0x000], #n_reads_strong
18	prefetch	[%o1 + 0x040], #n_reads_strong
19	prefetch	[%o1 + 0x080], #n_reads_strong
20	prefetch	[%o1 + 0x0c0], #n_reads_strong
21	set		PAGE_SIZE, %g7
22	prefetch	[%o1 + 0x100], #n_reads_strong
23	prefetch	[%o1 + 0x140], #n_reads_strong
24	prefetch	[%o1 + 0x180], #n_reads_strong
25	prefetch	[%o1 + 0x1c0], #n_reads_strong
261:
27	ldx		[%o1 + 0x00], %o2
28	subcc		%g7, 0x40, %g7
29	ldx		[%o1 + 0x08], %o3
30	ldx		[%o1 + 0x10], %o4
31	ldx		[%o1 + 0x18], %o5
32	ldx		[%o1 + 0x20], %g1
33	stxa		%o2, [%o0] ASI_ST_BLKINIT_MRU_P
34	add		%o0, 0x08, %o0
35	ldx		[%o1 + 0x28], %g2
36	stxa		%o3, [%o0] ASI_ST_BLKINIT_MRU_P
37	add		%o0, 0x08, %o0
38	ldx		[%o1 + 0x30], %g3
39	stxa		%o4, [%o0] ASI_ST_BLKINIT_MRU_P
40	add		%o0, 0x08, %o0
41	ldx		[%o1 + 0x38], %o2
42	add		%o1, 0x40, %o1
43	stxa		%o5, [%o0] ASI_ST_BLKINIT_MRU_P
44	add		%o0, 0x08, %o0
45	stxa		%g1, [%o0] ASI_ST_BLKINIT_MRU_P
46	add		%o0, 0x08, %o0
47	stxa		%g2, [%o0] ASI_ST_BLKINIT_MRU_P
48	add		%o0, 0x08, %o0
49	stxa		%g3, [%o0] ASI_ST_BLKINIT_MRU_P
50	add		%o0, 0x08, %o0
51	stxa		%o2, [%o0] ASI_ST_BLKINIT_MRU_P
52	add		%o0, 0x08, %o0
53	bne,pt		%icc, 1b
54	 prefetch	[%o1 + 0x200], #n_reads_strong
55	retl
56	 membar		#StoreLoad | #StoreStore
57	.size		NG4copy_user_page,.-NG4copy_user_page