1/* bzero.S: Simple prefetching memset, bzero, and clear_user
  2 *          implementations.
  3 *
  4 * Copyright (C) 2005 David S. Miller <davem@davemloft.net>
  5 */
  6
 
  7#include <linux/linkage.h>
  8
  9	.text
 10
 11ENTRY(memset) /* %o0=buf, %o1=pat, %o2=len */
 12	and		%o1, 0xff, %o3
 13	mov		%o2, %o1
 14	sllx		%o3, 8, %g1
 15	or		%g1, %o3, %o2
 16	sllx		%o2, 16, %g1
 17	or		%g1, %o2, %o2
 18	sllx		%o2, 32, %g1
 19	ba,pt		%xcc, 1f
 20	 or		%g1, %o2, %o2
 21
 22ENTRY(__bzero) /* %o0=buf, %o1=len */
 23	clr		%o2
 241:	mov		%o0, %o3
 25	brz,pn		%o1, __bzero_done
 26	 cmp		%o1, 16
 27	bl,pn		%icc, __bzero_tiny
 28	 prefetch	[%o0 + 0x000], #n_writes
 29	andcc		%o0, 0x3, %g0
 30	be,pt		%icc, 2f
 311:	 stb		%o2, [%o0 + 0x00]
 32	add		%o0, 1, %o0
 33	andcc		%o0, 0x3, %g0
 34	bne,pn		%icc, 1b
 35	 sub		%o1, 1, %o1
 362:	andcc		%o0, 0x7, %g0
 37	be,pt		%icc, 3f
 38	 stw		%o2, [%o0 + 0x00]
 39	sub		%o1, 4, %o1
 40	add		%o0, 4, %o0
 413:	and		%o1, 0x38, %g1
 42	cmp		%o1, 0x40
 43	andn		%o1, 0x3f, %o4
 44	bl,pn		%icc, 5f
 45	 and		%o1, 0x7, %o1
 46	prefetch	[%o0 + 0x040], #n_writes
 47	prefetch	[%o0 + 0x080], #n_writes
 48	prefetch	[%o0 + 0x0c0], #n_writes
 49	prefetch	[%o0 + 0x100], #n_writes
 50	prefetch	[%o0 + 0x140], #n_writes
 514:	prefetch	[%o0 + 0x180], #n_writes
 52	stx		%o2, [%o0 + 0x00]
 53	stx		%o2, [%o0 + 0x08]
 54	stx		%o2, [%o0 + 0x10]
 55	stx		%o2, [%o0 + 0x18]
 56	stx		%o2, [%o0 + 0x20]
 57	stx		%o2, [%o0 + 0x28]
 58	stx		%o2, [%o0 + 0x30]
 59	stx		%o2, [%o0 + 0x38]
 60	subcc		%o4, 0x40, %o4
 61	bne,pt		%icc, 4b
 62	 add		%o0, 0x40, %o0
 63	brz,pn		%g1, 6f
 64	 nop
 655:	stx		%o2, [%o0 + 0x00]
 66	subcc		%g1, 8, %g1
 67	bne,pt		%icc, 5b
 68	 add		%o0, 0x8, %o0
 696:	brz,pt		%o1, __bzero_done
 70	 nop
 71__bzero_tiny:
 721:	stb		%o2, [%o0 + 0x00]
 73	subcc		%o1, 1, %o1
 74	bne,pt		%icc, 1b
 75	 add		%o0, 1, %o0
 76__bzero_done:
 77	retl
 78	 mov		%o3, %o0
 79ENDPROC(__bzero)
 80ENDPROC(memset)
 
 
 81
 82#define EX_ST(x,y)		\
 8398:	x,y;			\
 84	.section __ex_table,"a";\
 85	.align 4;		\
 86	.word 98b, __retl_o1;	\
 87	.text;			\
 88	.align 4;
 89
 90ENTRY(__clear_user) /* %o0=buf, %o1=len */
 91	brz,pn		%o1, __clear_user_done
 92	 cmp		%o1, 16
 93	bl,pn		%icc, __clear_user_tiny
 94	 EX_ST(prefetcha [%o0 + 0x00] %asi, #n_writes)
 95	andcc		%o0, 0x3, %g0
 96	be,pt		%icc, 2f
 971:	 EX_ST(stba	%g0, [%o0 + 0x00] %asi)
 98	add		%o0, 1, %o0
 99	andcc		%o0, 0x3, %g0
100	bne,pn		%icc, 1b
101	 sub		%o1, 1, %o1
1022:	andcc		%o0, 0x7, %g0
103	be,pt		%icc, 3f
104	 EX_ST(stwa	%g0, [%o0 + 0x00] %asi)
105	sub		%o1, 4, %o1
106	add		%o0, 4, %o0
1073:	and		%o1, 0x38, %g1
108	cmp		%o1, 0x40
109	andn		%o1, 0x3f, %o4
110	bl,pn		%icc, 5f
111	 and		%o1, 0x7, %o1
112	EX_ST(prefetcha	[%o0 + 0x040] %asi, #n_writes)
113	EX_ST(prefetcha	[%o0 + 0x080] %asi, #n_writes)
114	EX_ST(prefetcha	[%o0 + 0x0c0] %asi, #n_writes)
115	EX_ST(prefetcha	[%o0 + 0x100] %asi, #n_writes)
116	EX_ST(prefetcha	[%o0 + 0x140] %asi, #n_writes)
1174:	EX_ST(prefetcha	[%o0 + 0x180] %asi, #n_writes)
118	EX_ST(stxa	%g0, [%o0 + 0x00] %asi)
119	EX_ST(stxa	%g0, [%o0 + 0x08] %asi)
120	EX_ST(stxa	%g0, [%o0 + 0x10] %asi)
121	EX_ST(stxa	%g0, [%o0 + 0x18] %asi)
122	EX_ST(stxa	%g0, [%o0 + 0x20] %asi)
123	EX_ST(stxa	%g0, [%o0 + 0x28] %asi)
124	EX_ST(stxa	%g0, [%o0 + 0x30] %asi)
125	EX_ST(stxa	%g0, [%o0 + 0x38] %asi)
126	subcc		%o4, 0x40, %o4
127	bne,pt		%icc, 4b
128	 add		%o0, 0x40, %o0
129	brz,pn		%g1, 6f
130	 nop
1315:	EX_ST(stxa	%g0, [%o0 + 0x00] %asi)
132	subcc		%g1, 8, %g1
133	bne,pt		%icc, 5b
134	 add		%o0, 0x8, %o0
1356:	brz,pt		%o1, __clear_user_done
136	 nop
137__clear_user_tiny:
1381:	EX_ST(stba	%g0, [%o0 + 0x00] %asi)
139	subcc		%o1, 1, %o1
140	bne,pt		%icc, 1b
141	 add		%o0, 1, %o0
142__clear_user_done:
143	retl
144	 clr		%o0
145ENDPROC(__clear_user)

  1/* SPDX-License-Identifier: GPL-2.0 */
  2/* bzero.S: Simple prefetching memset, bzero, and clear_user
  3 *          implementations.
  4 *
  5 * Copyright (C) 2005 David S. Miller <davem@davemloft.net>
  6 */
  7
  8#include <linux/export.h>
  9#include <linux/linkage.h>
 10
 11	.text
 12
 13ENTRY(memset) /* %o0=buf, %o1=pat, %o2=len */
 14	and		%o1, 0xff, %o3
 15	mov		%o2, %o1
 16	sllx		%o3, 8, %g1
 17	or		%g1, %o3, %o2
 18	sllx		%o2, 16, %g1
 19	or		%g1, %o2, %o2
 20	sllx		%o2, 32, %g1
 21	ba,pt		%xcc, 1f
 22	 or		%g1, %o2, %o2
 23
 24ENTRY(__bzero) /* %o0=buf, %o1=len */
 25	clr		%o2
 261:	mov		%o0, %o3
 27	brz,pn		%o1, __bzero_done
 28	 cmp		%o1, 16
 29	bl,pn		%icc, __bzero_tiny
 30	 prefetch	[%o0 + 0x000], #n_writes
 31	andcc		%o0, 0x3, %g0
 32	be,pt		%icc, 2f
 331:	 stb		%o2, [%o0 + 0x00]
 34	add		%o0, 1, %o0
 35	andcc		%o0, 0x3, %g0
 36	bne,pn		%icc, 1b
 37	 sub		%o1, 1, %o1
 382:	andcc		%o0, 0x7, %g0
 39	be,pt		%icc, 3f
 40	 stw		%o2, [%o0 + 0x00]
 41	sub		%o1, 4, %o1
 42	add		%o0, 4, %o0
 433:	and		%o1, 0x38, %g1
 44	cmp		%o1, 0x40
 45	andn		%o1, 0x3f, %o4
 46	bl,pn		%icc, 5f
 47	 and		%o1, 0x7, %o1
 48	prefetch	[%o0 + 0x040], #n_writes
 49	prefetch	[%o0 + 0x080], #n_writes
 50	prefetch	[%o0 + 0x0c0], #n_writes
 51	prefetch	[%o0 + 0x100], #n_writes
 52	prefetch	[%o0 + 0x140], #n_writes
 534:	prefetch	[%o0 + 0x180], #n_writes
 54	stx		%o2, [%o0 + 0x00]
 55	stx		%o2, [%o0 + 0x08]
 56	stx		%o2, [%o0 + 0x10]
 57	stx		%o2, [%o0 + 0x18]
 58	stx		%o2, [%o0 + 0x20]
 59	stx		%o2, [%o0 + 0x28]
 60	stx		%o2, [%o0 + 0x30]
 61	stx		%o2, [%o0 + 0x38]
 62	subcc		%o4, 0x40, %o4
 63	bne,pt		%icc, 4b
 64	 add		%o0, 0x40, %o0
 65	brz,pn		%g1, 6f
 66	 nop
 675:	stx		%o2, [%o0 + 0x00]
 68	subcc		%g1, 8, %g1
 69	bne,pt		%icc, 5b
 70	 add		%o0, 0x8, %o0
 716:	brz,pt		%o1, __bzero_done
 72	 nop
 73__bzero_tiny:
 741:	stb		%o2, [%o0 + 0x00]
 75	subcc		%o1, 1, %o1
 76	bne,pt		%icc, 1b
 77	 add		%o0, 1, %o0
 78__bzero_done:
 79	retl
 80	 mov		%o3, %o0
 81ENDPROC(__bzero)
 82ENDPROC(memset)
 83EXPORT_SYMBOL(__bzero)
 84EXPORT_SYMBOL(memset)
 85
 86#define EX_ST(x,y)		\
 8798:	x,y;			\
 88	.section __ex_table,"a";\
 89	.align 4;		\
 90	.word 98b, __retl_o1;	\
 91	.text;			\
 92	.align 4;
 93
 94ENTRY(__clear_user) /* %o0=buf, %o1=len */
 95	brz,pn		%o1, __clear_user_done
 96	 cmp		%o1, 16
 97	bl,pn		%icc, __clear_user_tiny
 98	 EX_ST(prefetcha [%o0 + 0x00] %asi, #n_writes)
 99	andcc		%o0, 0x3, %g0
100	be,pt		%icc, 2f
1011:	 EX_ST(stba	%g0, [%o0 + 0x00] %asi)
102	add		%o0, 1, %o0
103	andcc		%o0, 0x3, %g0
104	bne,pn		%icc, 1b
105	 sub		%o1, 1, %o1
1062:	andcc		%o0, 0x7, %g0
107	be,pt		%icc, 3f
108	 EX_ST(stwa	%g0, [%o0 + 0x00] %asi)
109	sub		%o1, 4, %o1
110	add		%o0, 4, %o0
1113:	and		%o1, 0x38, %g1
112	cmp		%o1, 0x40
113	andn		%o1, 0x3f, %o4
114	bl,pn		%icc, 5f
115	 and		%o1, 0x7, %o1
116	EX_ST(prefetcha	[%o0 + 0x040] %asi, #n_writes)
117	EX_ST(prefetcha	[%o0 + 0x080] %asi, #n_writes)
118	EX_ST(prefetcha	[%o0 + 0x0c0] %asi, #n_writes)
119	EX_ST(prefetcha	[%o0 + 0x100] %asi, #n_writes)
120	EX_ST(prefetcha	[%o0 + 0x140] %asi, #n_writes)
1214:	EX_ST(prefetcha	[%o0 + 0x180] %asi, #n_writes)
122	EX_ST(stxa	%g0, [%o0 + 0x00] %asi)
123	EX_ST(stxa	%g0, [%o0 + 0x08] %asi)
124	EX_ST(stxa	%g0, [%o0 + 0x10] %asi)
125	EX_ST(stxa	%g0, [%o0 + 0x18] %asi)
126	EX_ST(stxa	%g0, [%o0 + 0x20] %asi)
127	EX_ST(stxa	%g0, [%o0 + 0x28] %asi)
128	EX_ST(stxa	%g0, [%o0 + 0x30] %asi)
129	EX_ST(stxa	%g0, [%o0 + 0x38] %asi)
130	subcc		%o4, 0x40, %o4
131	bne,pt		%icc, 4b
132	 add		%o0, 0x40, %o0
133	brz,pn		%g1, 6f
134	 nop
1355:	EX_ST(stxa	%g0, [%o0 + 0x00] %asi)
136	subcc		%g1, 8, %g1
137	bne,pt		%icc, 5b
138	 add		%o0, 0x8, %o0
1396:	brz,pt		%o1, __clear_user_done
140	 nop
141__clear_user_tiny:
1421:	EX_ST(stba	%g0, [%o0 + 0x00] %asi)
143	subcc		%o1, 1, %o1
144	bne,pt		%icc, 1b
145	 add		%o0, 1, %o0
146__clear_user_done:
147	retl
148	 clr		%o0
149ENDPROC(__clear_user)
150EXPORT_SYMBOL(__clear_user)