1/* SPDX-License-Identifier: GPL-2.0 */
  2/* una_asm.S: Kernel unaligned trap assembler helpers.
  3 *
  4 * Copyright (C) 1996,2005 David S. Miller (davem@davemloft.net)
  5 * Copyright (C) 1996,1997 Jakub Jelinek (jj@sunsite.mff.cuni.cz)
  6 */
  7
  8	.text
  9
 10	.globl	__do_int_store
 11__do_int_store:
 12	rd	%asi, %o4
 13	wr	%o3, 0, %asi
 14	mov	%o2, %g3
 15	cmp	%o1, 2
 16	be,pn	%icc, 2f
 17	 cmp	%o1, 4
 18	be,pt	%icc, 1f
 19	 srlx	%g3, 24, %g2
 20	srlx	%g3, 56, %g1
 21	srlx	%g3, 48, %g7
 224:	stba	%g1, [%o0] %asi
 23	srlx	%g3, 40, %g1
 245:	stba	%g7, [%o0 + 1] %asi
 25	srlx	%g3, 32, %g7
 266:	stba	%g1, [%o0 + 2] %asi
 277:	stba	%g7, [%o0 + 3] %asi
 28	srlx	%g3, 16, %g1
 298:	stba	%g2, [%o0 + 4] %asi
 30	srlx	%g3, 8, %g7
 319:	stba	%g1, [%o0 + 5] %asi
 3210:	stba	%g7, [%o0 + 6] %asi
 33	ba,pt	%xcc, 0f
 3411:	 stba	%g3, [%o0 + 7] %asi
 351:	srl	%g3, 16, %g7
 3612:	stba	%g2, [%o0] %asi
 37	srl	%g3, 8, %g2
 3813:	stba	%g7, [%o0 + 1] %asi
 3914:	stba	%g2, [%o0 + 2] %asi
 40	ba,pt	%xcc, 0f
 4115:	 stba	%g3, [%o0 + 3] %asi
 422:	srl	%g3, 8, %g2
 4316:	stba	%g2, [%o0] %asi
 4417:	stba	%g3, [%o0 + 1] %asi
 450:
 46	wr	%o4, 0x0, %asi
 47	retl
 48	 mov	0, %o0
 49	.size	__do_int_store, .-__do_int_store
 50
 51	.section	__ex_table,"a"
 52	.word		4b, __retl_efault
 53	.word		5b, __retl_efault
 54	.word		6b, __retl_efault
 55	.word		7b, __retl_efault
 56	.word		8b, __retl_efault
 57	.word		9b, __retl_efault
 58	.word		10b, __retl_efault
 59	.word		11b, __retl_efault
 60	.word		12b, __retl_efault
 61	.word		13b, __retl_efault
 62	.word		14b, __retl_efault
 63	.word		15b, __retl_efault
 64	.word		16b, __retl_efault
 65	.word		17b, __retl_efault
 66	.previous
 67
 68	.globl	do_int_load
 69do_int_load:
 70	rd	%asi, %o5
 71	wr	%o4, 0, %asi
 72	cmp	%o1, 8
 73	bge,pn	%icc, 9f
 74	 cmp	%o1, 4
 75	be,pt	%icc, 6f
 764:	 lduba	[%o2] %asi, %g2
 775:	lduba	[%o2 + 1] %asi, %g3
 78	sll	%g2, 8, %g2
 79	brz,pt	%o3, 3f
 80	 add	%g2, %g3, %g2
 81	sllx	%g2, 48, %g2
 82	srax	%g2, 48, %g2
 833:	ba,pt	%xcc, 0f
 84	 stx	%g2, [%o0]
 856:	lduba	[%o2 + 1] %asi, %g3
 86	sll	%g2, 24, %g2
 877:	lduba	[%o2 + 2] %asi, %g7
 88	sll	%g3, 16, %g3
 898:	lduba	[%o2 + 3] %asi, %g1
 90	sll	%g7, 8, %g7
 91	or	%g2, %g3, %g2
 92	or	%g7, %g1, %g7
 93	or	%g2, %g7, %g2
 94	brnz,a,pt %o3, 3f
 95	 sra	%g2, 0, %g2
 963:	ba,pt	%xcc, 0f
 97	 stx	%g2, [%o0]
 989:	lduba	[%o2] %asi, %g2
 9910:	lduba	[%o2 + 1] %asi, %g3
100	sllx	%g2, 56, %g2
10111:	lduba	[%o2 + 2] %asi, %g7
102	sllx	%g3, 48, %g3
10312:	lduba	[%o2 + 3] %asi, %g1
104	sllx	%g7, 40, %g7
105	sllx	%g1, 32, %g1
106	or	%g2, %g3, %g2
107	or	%g7, %g1, %g7
10813:	lduba	[%o2 + 4] %asi, %g3
109	or	%g2, %g7, %g7
11014:	lduba	[%o2 + 5] %asi, %g1
111	sllx	%g3, 24, %g3
11215:	lduba	[%o2 + 6] %asi, %g2
113	sllx	%g1, 16, %g1
114	or	%g7, %g3, %g7
11516:	lduba	[%o2 + 7] %asi, %g3
116	sllx	%g2, 8, %g2
117	or	%g7, %g1, %g7
118	or	%g2, %g3, %g2
119	or	%g7, %g2, %g7
120	cmp	%o1, 8
121	be,a,pt %icc, 0f
122	 stx	%g7, [%o0]
123	srlx	%g7, 32, %g2
124	sra	%g7, 0, %g7
125	stx	%g2, [%o0]
126	stx	%g7, [%o0 + 8]
1270:
128	wr	%o5, 0x0, %asi
129	retl
130	 mov	0, %o0
131	.size	do_int_load, .-do_int_load
132
133	.section	__ex_table,"a"
134	.word		4b, __retl_efault
135	.word		5b, __retl_efault
136	.word		6b, __retl_efault
137	.word		7b, __retl_efault
138	.word		8b, __retl_efault
139	.word		9b, __retl_efault
140	.word		10b, __retl_efault
141	.word		11b, __retl_efault
142	.word		12b, __retl_efault
143	.word		13b, __retl_efault
144	.word		14b, __retl_efault
145	.word		15b, __retl_efault
146	.word		16b, __retl_efault
147	.previous

 
  1/* una_asm.S: Kernel unaligned trap assembler helpers.
  2 *
  3 * Copyright (C) 1996,2005 David S. Miller (davem@davemloft.net)
  4 * Copyright (C) 1996,1997 Jakub Jelinek (jj@sunsite.mff.cuni.cz)
  5 */
  6
  7	.text
  8
  9	.globl	__do_int_store
 10__do_int_store:
 11	rd	%asi, %o4
 12	wr	%o3, 0, %asi
 13	mov	%o2, %g3
 14	cmp	%o1, 2
 15	be,pn	%icc, 2f
 16	 cmp	%o1, 4
 17	be,pt	%icc, 1f
 18	 srlx	%g3, 24, %g2
 19	srlx	%g3, 56, %g1
 20	srlx	%g3, 48, %g7
 214:	stba	%g1, [%o0] %asi
 22	srlx	%g3, 40, %g1
 235:	stba	%g7, [%o0 + 1] %asi
 24	srlx	%g3, 32, %g7
 256:	stba	%g1, [%o0 + 2] %asi
 267:	stba	%g7, [%o0 + 3] %asi
 27	srlx	%g3, 16, %g1
 288:	stba	%g2, [%o0 + 4] %asi
 29	srlx	%g3, 8, %g7
 309:	stba	%g1, [%o0 + 5] %asi
 3110:	stba	%g7, [%o0 + 6] %asi
 32	ba,pt	%xcc, 0f
 3311:	 stba	%g3, [%o0 + 7] %asi
 341:	srl	%g3, 16, %g7
 3512:	stba	%g2, [%o0] %asi
 36	srl	%g3, 8, %g2
 3713:	stba	%g7, [%o0 + 1] %asi
 3814:	stba	%g2, [%o0 + 2] %asi
 39	ba,pt	%xcc, 0f
 4015:	 stba	%g3, [%o0 + 3] %asi
 412:	srl	%g3, 8, %g2
 4216:	stba	%g2, [%o0] %asi
 4317:	stba	%g3, [%o0 + 1] %asi
 440:
 45	wr	%o4, 0x0, %asi
 46	retl
 47	 mov	0, %o0
 48	.size	__do_int_store, .-__do_int_store
 49
 50	.section	__ex_table,"a"
 51	.word		4b, __retl_efault
 52	.word		5b, __retl_efault
 53	.word		6b, __retl_efault
 54	.word		7b, __retl_efault
 55	.word		8b, __retl_efault
 56	.word		9b, __retl_efault
 57	.word		10b, __retl_efault
 58	.word		11b, __retl_efault
 59	.word		12b, __retl_efault
 60	.word		13b, __retl_efault
 61	.word		14b, __retl_efault
 62	.word		15b, __retl_efault
 63	.word		16b, __retl_efault
 64	.word		17b, __retl_efault
 65	.previous
 66
 67	.globl	do_int_load
 68do_int_load:
 69	rd	%asi, %o5
 70	wr	%o4, 0, %asi
 71	cmp	%o1, 8
 72	bge,pn	%icc, 9f
 73	 cmp	%o1, 4
 74	be,pt	%icc, 6f
 754:	 lduba	[%o2] %asi, %g2
 765:	lduba	[%o2 + 1] %asi, %g3
 77	sll	%g2, 8, %g2
 78	brz,pt	%o3, 3f
 79	 add	%g2, %g3, %g2
 80	sllx	%g2, 48, %g2
 81	srax	%g2, 48, %g2
 823:	ba,pt	%xcc, 0f
 83	 stx	%g2, [%o0]
 846:	lduba	[%o2 + 1] %asi, %g3
 85	sll	%g2, 24, %g2
 867:	lduba	[%o2 + 2] %asi, %g7
 87	sll	%g3, 16, %g3
 888:	lduba	[%o2 + 3] %asi, %g1
 89	sll	%g7, 8, %g7
 90	or	%g2, %g3, %g2
 91	or	%g7, %g1, %g7
 92	or	%g2, %g7, %g2
 93	brnz,a,pt %o3, 3f
 94	 sra	%g2, 0, %g2
 953:	ba,pt	%xcc, 0f
 96	 stx	%g2, [%o0]
 979:	lduba	[%o2] %asi, %g2
 9810:	lduba	[%o2 + 1] %asi, %g3
 99	sllx	%g2, 56, %g2
10011:	lduba	[%o2 + 2] %asi, %g7
101	sllx	%g3, 48, %g3
10212:	lduba	[%o2 + 3] %asi, %g1
103	sllx	%g7, 40, %g7
104	sllx	%g1, 32, %g1
105	or	%g2, %g3, %g2
106	or	%g7, %g1, %g7
10713:	lduba	[%o2 + 4] %asi, %g3
108	or	%g2, %g7, %g7
10914:	lduba	[%o2 + 5] %asi, %g1
110	sllx	%g3, 24, %g3
11115:	lduba	[%o2 + 6] %asi, %g2
112	sllx	%g1, 16, %g1
113	or	%g7, %g3, %g7
11416:	lduba	[%o2 + 7] %asi, %g3
115	sllx	%g2, 8, %g2
116	or	%g7, %g1, %g7
117	or	%g2, %g3, %g2
118	or	%g7, %g2, %g7
119	cmp	%o1, 8
120	be,a,pt %icc, 0f
121	 stx	%g7, [%o0]
122	srlx	%g7, 32, %g2
123	sra	%g7, 0, %g7
124	stx	%g2, [%o0]
125	stx	%g7, [%o0 + 8]
1260:
127	wr	%o5, 0x0, %asi
128	retl
129	 mov	0, %o0
130	.size	do_int_load, .-do_int_load
131
132	.section	__ex_table,"a"
133	.word		4b, __retl_efault
134	.word		5b, __retl_efault
135	.word		6b, __retl_efault
136	.word		7b, __retl_efault
137	.word		8b, __retl_efault
138	.word		9b, __retl_efault
139	.word		10b, __retl_efault
140	.word		11b, __retl_efault
141	.word		12b, __retl_efault
142	.word		13b, __retl_efault
143	.word		14b, __retl_efault
144	.word		15b, __retl_efault
145	.word		16b, __retl_efault
146	.previous