Loading...
1/* SPDX-License-Identifier: GPL-2.0 */
2/*
3 * memscan.S: Optimized memscan for Sparc64.
4 *
5 * Copyright (C) 1997,1998 Jakub Jelinek (jj@ultra.linux.cz)
6 * Copyright (C) 1998 David S. Miller (davem@redhat.com)
7 */
8
9 #include <asm/export.h>
10
11#define HI_MAGIC 0x8080808080808080
12#define LO_MAGIC 0x0101010101010101
13#define ASI_PL 0x88
14
15 .text
16 .align 32
17 .globl __memscan_zero, __memscan_generic
18 .type __memscan_zero,#function
19 .type __memscan_generic,#function
20 .globl memscan
21 EXPORT_SYMBOL(__memscan_zero)
22 EXPORT_SYMBOL(__memscan_generic)
23
24__memscan_zero:
25 /* %o0 = bufp, %o1 = size */
26 brlez,pn %o1, szzero
27 andcc %o0, 7, %g0
28 be,pt %icc, we_are_aligned
29 sethi %hi(HI_MAGIC), %o4
30 ldub [%o0], %o5
311: subcc %o1, 1, %o1
32 brz,pn %o5, 10f
33 add %o0, 1, %o0
34
35 be,pn %xcc, szzero
36 andcc %o0, 7, %g0
37 bne,a,pn %icc, 1b
38 ldub [%o0], %o5
39we_are_aligned:
40 ldxa [%o0] ASI_PL, %o5
41 or %o4, %lo(HI_MAGIC), %o3
42 sllx %o3, 32, %o4
43 or %o4, %o3, %o3
44
45 srlx %o3, 7, %o2
46msloop:
47 sub %o1, 8, %o1
48 add %o0, 8, %o0
49 sub %o5, %o2, %o4
50 xor %o4, %o5, %o4
51 andcc %o4, %o3, %g3
52 bne,pn %xcc, check_bytes
53 srlx %o4, 32, %g3
54
55 brgz,a,pt %o1, msloop
56 ldxa [%o0] ASI_PL, %o5
57check_bytes:
58 bne,a,pn %icc, 2f
59 andcc %o5, 0xff, %g0
60 add %o0, -5, %g2
61 ba,pt %xcc, 3f
62 srlx %o5, 32, %g7
63
642: srlx %o5, 8, %g7
65 be,pn %icc, 1f
66 add %o0, -8, %g2
67 andcc %g7, 0xff, %g0
68 srlx %g7, 8, %g7
69 be,pn %icc, 1f
70 inc %g2
71 andcc %g7, 0xff, %g0
72
73 srlx %g7, 8, %g7
74 be,pn %icc, 1f
75 inc %g2
76 andcc %g7, 0xff, %g0
77 srlx %g7, 8, %g7
78 be,pn %icc, 1f
79 inc %g2
80 andcc %g3, %o3, %g0
81
82 be,a,pn %icc, 2f
83 mov %o0, %g2
843: andcc %g7, 0xff, %g0
85 srlx %g7, 8, %g7
86 be,pn %icc, 1f
87 inc %g2
88 andcc %g7, 0xff, %g0
89 srlx %g7, 8, %g7
90
91 be,pn %icc, 1f
92 inc %g2
93 andcc %g7, 0xff, %g0
94 srlx %g7, 8, %g7
95 be,pn %icc, 1f
96 inc %g2
97 andcc %g7, 0xff, %g0
98 srlx %g7, 8, %g7
99
100 be,pn %icc, 1f
101 inc %g2
1022: brgz,a,pt %o1, msloop
103 ldxa [%o0] ASI_PL, %o5
104 inc %g2
1051: add %o0, %o1, %o0
106 cmp %g2, %o0
107 retl
108
109 movle %xcc, %g2, %o0
11010: retl
111 sub %o0, 1, %o0
112szzero: retl
113 nop
114
115memscan:
116__memscan_generic:
117 /* %o0 = addr, %o1 = c, %o2 = size */
118 brz,pn %o2, 3f
119 add %o0, %o2, %o3
120 ldub [%o0], %o5
121 sub %g0, %o2, %o4
1221:
123 cmp %o5, %o1
124 be,pn %icc, 2f
125 addcc %o4, 1, %o4
126 bne,a,pt %xcc, 1b
127 ldub [%o3 + %o4], %o5
128 retl
129 /* The delay slot is the same as the next insn, this is just to make it look more awful */
1302:
131 add %o3, %o4, %o0
132 retl
133 sub %o0, 1, %o0
1343:
135 retl
136 nop
1/*
2 * memscan.S: Optimized memscan for Sparc64.
3 *
4 * Copyright (C) 1997,1998 Jakub Jelinek (jj@ultra.linux.cz)
5 * Copyright (C) 1998 David S. Miller (davem@redhat.com)
6 */
7
8#define HI_MAGIC 0x8080808080808080
9#define LO_MAGIC 0x0101010101010101
10#define ASI_PL 0x88
11
12 .text
13 .align 32
14 .globl __memscan_zero, __memscan_generic
15 .globl memscan
16
17__memscan_zero:
18 /* %o0 = bufp, %o1 = size */
19 brlez,pn %o1, szzero
20 andcc %o0, 7, %g0
21 be,pt %icc, we_are_aligned
22 sethi %hi(HI_MAGIC), %o4
23 ldub [%o0], %o5
241: subcc %o1, 1, %o1
25 brz,pn %o5, 10f
26 add %o0, 1, %o0
27
28 be,pn %xcc, szzero
29 andcc %o0, 7, %g0
30 bne,a,pn %icc, 1b
31 ldub [%o0], %o5
32we_are_aligned:
33 ldxa [%o0] ASI_PL, %o5
34 or %o4, %lo(HI_MAGIC), %o3
35 sllx %o3, 32, %o4
36 or %o4, %o3, %o3
37
38 srlx %o3, 7, %o2
39msloop:
40 sub %o1, 8, %o1
41 add %o0, 8, %o0
42 sub %o5, %o2, %o4
43 xor %o4, %o5, %o4
44 andcc %o4, %o3, %g3
45 bne,pn %xcc, check_bytes
46 srlx %o4, 32, %g3
47
48 brgz,a,pt %o1, msloop
49 ldxa [%o0] ASI_PL, %o5
50check_bytes:
51 bne,a,pn %icc, 2f
52 andcc %o5, 0xff, %g0
53 add %o0, -5, %g2
54 ba,pt %xcc, 3f
55 srlx %o5, 32, %g7
56
572: srlx %o5, 8, %g7
58 be,pn %icc, 1f
59 add %o0, -8, %g2
60 andcc %g7, 0xff, %g0
61 srlx %g7, 8, %g7
62 be,pn %icc, 1f
63 inc %g2
64 andcc %g7, 0xff, %g0
65
66 srlx %g7, 8, %g7
67 be,pn %icc, 1f
68 inc %g2
69 andcc %g7, 0xff, %g0
70 srlx %g7, 8, %g7
71 be,pn %icc, 1f
72 inc %g2
73 andcc %g3, %o3, %g0
74
75 be,a,pn %icc, 2f
76 mov %o0, %g2
773: andcc %g7, 0xff, %g0
78 srlx %g7, 8, %g7
79 be,pn %icc, 1f
80 inc %g2
81 andcc %g7, 0xff, %g0
82 srlx %g7, 8, %g7
83
84 be,pn %icc, 1f
85 inc %g2
86 andcc %g7, 0xff, %g0
87 srlx %g7, 8, %g7
88 be,pn %icc, 1f
89 inc %g2
90 andcc %g7, 0xff, %g0
91 srlx %g7, 8, %g7
92
93 be,pn %icc, 1f
94 inc %g2
952: brgz,a,pt %o1, msloop
96 ldxa [%o0] ASI_PL, %o5
97 inc %g2
981: add %o0, %o1, %o0
99 cmp %g2, %o0
100 retl
101
102 movle %xcc, %g2, %o0
10310: retl
104 sub %o0, 1, %o0
105szzero: retl
106 nop
107
108memscan:
109__memscan_generic:
110 /* %o0 = addr, %o1 = c, %o2 = size */
111 brz,pn %o2, 3f
112 add %o0, %o2, %o3
113 ldub [%o0], %o5
114 sub %g0, %o2, %o4
1151:
116 cmp %o5, %o1
117 be,pn %icc, 2f
118 addcc %o4, 1, %o4
119 bne,a,pt %xcc, 1b
120 ldub [%o3 + %o4], %o5
121 retl
122 /* The delay slot is the same as the next insn, this is just to make it look more awful */
1232:
124 add %o3, %o4, %o0
125 retl
126 sub %o0, 1, %o0
1273:
128 retl
129 nop