Loading...
1/* SPDX-License-Identifier: GPL-2.0 */
2/* GENmemcpy.S: Generic sparc64 memcpy.
3 *
4 * Copyright (C) 2007 David S. Miller (davem@davemloft.net)
5 */
6
7#ifdef __KERNEL__
8#include <linux/linkage.h>
9#define GLOBAL_SPARE %g7
10#else
11#define GLOBAL_SPARE %g5
12#endif
13
14#ifndef EX_LD
15#define EX_LD(x,y) x
16#endif
17
18#ifndef EX_ST
19#define EX_ST(x,y) x
20#endif
21
22#ifndef LOAD
23#define LOAD(type,addr,dest) type [addr], dest
24#endif
25
26#ifndef STORE
27#define STORE(type,src,addr) type src, [addr]
28#endif
29
30#ifndef FUNC_NAME
31#define FUNC_NAME GENmemcpy
32#endif
33
34#ifndef PREAMBLE
35#define PREAMBLE
36#endif
37
38#ifndef XCC
39#define XCC xcc
40#endif
41
42 .register %g2,#scratch
43 .register %g3,#scratch
44
45 .text
46
47#ifndef EX_RETVAL
48#define EX_RETVAL(x) x
49ENTRY(GEN_retl_o4_1)
50 add %o4, %o2, %o4
51 retl
52 add %o4, 1, %o0
53ENDPROC(GEN_retl_o4_1)
54ENTRY(GEN_retl_g1_8)
55 add %g1, %o2, %g1
56 retl
57 add %g1, 8, %o0
58ENDPROC(GEN_retl_g1_8)
59ENTRY(GEN_retl_o2_4)
60 retl
61 add %o2, 4, %o0
62ENDPROC(GEN_retl_o2_4)
63ENTRY(GEN_retl_o2_1)
64 retl
65 add %o2, 1, %o0
66ENDPROC(GEN_retl_o2_1)
67#endif
68
69 .align 64
70
71 .globl FUNC_NAME
72 .type FUNC_NAME,#function
73FUNC_NAME: /* %o0=dst, %o1=src, %o2=len */
74 srlx %o2, 31, %g2
75 cmp %g2, 0
76 tne %XCC, 5
77 PREAMBLE
78 mov %o0, GLOBAL_SPARE
79
80 cmp %o2, 0
81 be,pn %XCC, 85f
82 or %o0, %o1, %o3
83 cmp %o2, 16
84 blu,a,pn %XCC, 80f
85 or %o3, %o2, %o3
86
87 xor %o0, %o1, %o4
88 andcc %o4, 0x7, %g0
89 bne,a,pn %XCC, 90f
90 sub %o0, %o1, %o3
91
92 and %o0, 0x7, %o4
93 sub %o4, 0x8, %o4
94 sub %g0, %o4, %o4
95 sub %o2, %o4, %o2
961: subcc %o4, 1, %o4
97 EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o4_1)
98 EX_ST(STORE(stb, %g1, %o0),GEN_retl_o4_1)
99 add %o1, 1, %o1
100 bne,pt %XCC, 1b
101 add %o0, 1, %o0
102
103 andn %o2, 0x7, %g1
104 sub %o2, %g1, %o2
1051: subcc %g1, 0x8, %g1
106 EX_LD(LOAD(ldx, %o1, %g2),GEN_retl_g1_8)
107 EX_ST(STORE(stx, %g2, %o0),GEN_retl_g1_8)
108 add %o1, 0x8, %o1
109 bne,pt %XCC, 1b
110 add %o0, 0x8, %o0
111
112 brz,pt %o2, 85f
113 sub %o0, %o1, %o3
114 ba,a,pt %XCC, 90f
115
116 .align 64
11780: /* 0 < len <= 16 */
118 andcc %o3, 0x3, %g0
119 bne,pn %XCC, 90f
120 sub %o0, %o1, %o3
121
1221:
123 subcc %o2, 4, %o2
124 EX_LD(LOAD(lduw, %o1, %g1),GEN_retl_o2_4)
125 EX_ST(STORE(stw, %g1, %o1 + %o3),GEN_retl_o2_4)
126 bgu,pt %XCC, 1b
127 add %o1, 4, %o1
128
12985: retl
130 mov EX_RETVAL(GLOBAL_SPARE), %o0
131
132 .align 32
13390:
134 subcc %o2, 1, %o2
135 EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o2_1)
136 EX_ST(STORE(stb, %g1, %o1 + %o3),GEN_retl_o2_1)
137 bgu,pt %XCC, 90b
138 add %o1, 1, %o1
139 retl
140 mov EX_RETVAL(GLOBAL_SPARE), %o0
141
142 .size FUNC_NAME, .-FUNC_NAME
1/* SPDX-License-Identifier: GPL-2.0 */
2/* GENmemcpy.S: Generic sparc64 memcpy.
3 *
4 * Copyright (C) 2007 David S. Miller (davem@davemloft.net)
5 */
6
7#ifdef __KERNEL__
8#include <linux/linkage.h>
9#define GLOBAL_SPARE %g7
10#else
11#define GLOBAL_SPARE %g5
12#endif
13
14#ifndef EX_LD
15#define EX_LD(x,y) x
16#endif
17
18#ifndef EX_ST
19#define EX_ST(x,y) x
20#endif
21
22#ifndef LOAD
23#define LOAD(type,addr,dest) type [addr], dest
24#endif
25
26#ifndef STORE
27#define STORE(type,src,addr) type src, [addr]
28#endif
29
30#ifndef FUNC_NAME
31#define FUNC_NAME GENmemcpy
32#endif
33
34#ifndef PREAMBLE
35#define PREAMBLE
36#endif
37
38#ifndef XCC
39#define XCC xcc
40#endif
41
42 .register %g2,#scratch
43 .register %g3,#scratch
44
45 .text
46
47#ifndef EX_RETVAL
48#define EX_RETVAL(x) x
49ENTRY(GEN_retl_o4_1)
50 add %o4, %o2, %o4
51 retl
52 add %o4, 1, %o0
53ENDPROC(GEN_retl_o4_1)
54ENTRY(GEN_retl_g1_8)
55 add %g1, %o2, %g1
56 retl
57 add %g1, 8, %o0
58ENDPROC(GEN_retl_g1_8)
59ENTRY(GEN_retl_o2_4)
60 retl
61 add %o2, 4, %o0
62ENDPROC(GEN_retl_o2_4)
63ENTRY(GEN_retl_o2_1)
64 retl
65 add %o2, 1, %o0
66ENDPROC(GEN_retl_o2_1)
67#endif
68
69 .align 64
70
71 .globl FUNC_NAME
72 .type FUNC_NAME,#function
73FUNC_NAME: /* %o0=dst, %o1=src, %o2=len */
74 srlx %o2, 31, %g2
75 cmp %g2, 0
76 tne %XCC, 5
77 PREAMBLE
78 mov %o0, GLOBAL_SPARE
79
80 cmp %o2, 0
81 be,pn %XCC, 85f
82 or %o0, %o1, %o3
83 cmp %o2, 16
84 blu,a,pn %XCC, 80f
85 or %o3, %o2, %o3
86
87 xor %o0, %o1, %o4
88 andcc %o4, 0x7, %g0
89 bne,a,pn %XCC, 90f
90 sub %o0, %o1, %o3
91
92 and %o0, 0x7, %o4
93 sub %o4, 0x8, %o4
94 sub %g0, %o4, %o4
95 sub %o2, %o4, %o2
961: subcc %o4, 1, %o4
97 EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o4_1)
98 EX_ST(STORE(stb, %g1, %o0),GEN_retl_o4_1)
99 add %o1, 1, %o1
100 bne,pt %XCC, 1b
101 add %o0, 1, %o0
102
103 andn %o2, 0x7, %g1
104 sub %o2, %g1, %o2
1051: subcc %g1, 0x8, %g1
106 EX_LD(LOAD(ldx, %o1, %g2),GEN_retl_g1_8)
107 EX_ST(STORE(stx, %g2, %o0),GEN_retl_g1_8)
108 add %o1, 0x8, %o1
109 bne,pt %XCC, 1b
110 add %o0, 0x8, %o0
111
112 brz,pt %o2, 85f
113 sub %o0, %o1, %o3
114 ba,a,pt %XCC, 90f
115
116 .align 64
11780: /* 0 < len <= 16 */
118 andcc %o3, 0x3, %g0
119 bne,pn %XCC, 90f
120 sub %o0, %o1, %o3
121
1221:
123 subcc %o2, 4, %o2
124 EX_LD(LOAD(lduw, %o1, %g1),GEN_retl_o2_4)
125 EX_ST(STORE(stw, %g1, %o1 + %o3),GEN_retl_o2_4)
126 bgu,pt %XCC, 1b
127 add %o1, 4, %o1
128
12985: retl
130 mov EX_RETVAL(GLOBAL_SPARE), %o0
131
132 .align 32
13390:
134 subcc %o2, 1, %o2
135 EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o2_1)
136 EX_ST(STORE(stb, %g1, %o1 + %o3),GEN_retl_o2_1)
137 bgu,pt %XCC, 90b
138 add %o1, 1, %o1
139 retl
140 mov EX_RETVAL(GLOBAL_SPARE), %o0
141
142 .size FUNC_NAME, .-FUNC_NAME