1// SPDX-License-Identifier: GPL-2.0-or-later
  2/*
  3 * Copyright 2020, Jordan Niethe, IBM Corporation.
  4 *
  5 * This file contains low level CPU setup functions.
  6 * Originally written in assembly by Benjamin Herrenschmidt & various other
  7 * authors.
  8 */
  9
 10#include <asm/reg.h>
 11#include <asm/synch.h>
 12#include <linux/bitops.h>
 13#include <asm/cputable.h>
 14#include <asm/cpu_setup.h>
 15
 16/* Disable CPU_FTR_HVMODE and return false if MSR:HV is not set */
 17static bool init_hvmode_206(struct cpu_spec *t)
 18{
 19	u64 msr;
 20
 21	msr = mfmsr();
 22	if (msr & MSR_HV)
 23		return true;
 24
 25	t->cpu_features &= ~(CPU_FTR_HVMODE | CPU_FTR_P9_TM_HV_ASSIST);
 26	return false;
 27}
 28
 29static void init_LPCR_ISA300(u64 lpcr, u64 lpes)
 30{
 31	/* POWER9 has no VRMASD */
 32	lpcr |= (lpes << LPCR_LPES_SH) & LPCR_LPES;
 33	lpcr |= LPCR_PECE0|LPCR_PECE1|LPCR_PECE2;
 34	lpcr |= (4ull << LPCR_DPFD_SH) & LPCR_DPFD;
 35	lpcr &= ~LPCR_HDICE;	/* clear HDICE */
 36	lpcr |= (4ull << LPCR_VC_SH);
 37	mtspr(SPRN_LPCR, lpcr);
 38	isync();
 39}
 40
 41/*
 42 * Setup a sane LPCR:
 43 *   Called with initial LPCR and desired LPES 2-bit value
 44 *
 45 *   LPES = 0b01 (HSRR0/1 used for 0x500)
 46 *   PECE = 0b111
 47 *   DPFD = 4
 48 *   HDICE = 0
 49 *   VC = 0b100 (VPM0=1, VPM1=0, ISL=0)
 50 *   VRMASD = 0b10000 (L=1, LP=00)
 51 *
 52 * Other bits untouched for now
 53 */
 54static void init_LPCR_ISA206(u64 lpcr, u64 lpes)
 55{
 56	lpcr |= (0x10ull << LPCR_VRMASD_SH) & LPCR_VRMASD;
 57	init_LPCR_ISA300(lpcr, lpes);
 58}
 59
 60static void init_FSCR(void)
 61{
 62	u64 fscr;
 63
 64	fscr = mfspr(SPRN_FSCR);
 65	fscr |= FSCR_TAR|FSCR_EBB;
 66	mtspr(SPRN_FSCR, fscr);
 67}
 68
 69static void init_FSCR_power9(void)
 70{
 71	u64 fscr;
 72
 73	fscr = mfspr(SPRN_FSCR);
 74	fscr |= FSCR_SCV;
 75	mtspr(SPRN_FSCR, fscr);
 76	init_FSCR();
 77}
 78
 79static void init_FSCR_power10(void)
 80{
 81	u64 fscr;
 82
 83	fscr = mfspr(SPRN_FSCR);
 84	fscr |= FSCR_PREFIX;
 85	mtspr(SPRN_FSCR, fscr);
 86	init_FSCR_power9();
 87}
 88
 89static void init_HFSCR(void)
 90{
 91	u64 hfscr;
 92
 93	hfscr = mfspr(SPRN_HFSCR);
 94	hfscr |= HFSCR_TAR|HFSCR_TM|HFSCR_BHRB|HFSCR_PM|HFSCR_DSCR|\
 95		 HFSCR_VECVSX|HFSCR_FP|HFSCR_EBB|HFSCR_MSGP;
 96	mtspr(SPRN_HFSCR, hfscr);
 97}
 98
 99static void init_PMU_HV(void)
100{
101	mtspr(SPRN_MMCRC, 0);
102}
103
104static void init_PMU_HV_ISA207(void)
105{
106	mtspr(SPRN_MMCRH, 0);
107}
108
109static void init_PMU(void)
110{
111	mtspr(SPRN_MMCRA, 0);
112	mtspr(SPRN_MMCR0, MMCR0_FC);
113	mtspr(SPRN_MMCR1, 0);
114	mtspr(SPRN_MMCR2, 0);
115}
116
117static void init_PMU_ISA207(void)
118{
119	mtspr(SPRN_MMCRS, 0);
120}
121
122static void init_PMU_ISA31(void)
123{
124	mtspr(SPRN_MMCR3, 0);
125	mtspr(SPRN_MMCRA, MMCRA_BHRB_DISABLE);
126	mtspr(SPRN_MMCR0, MMCR0_FC | MMCR0_PMCCEXT);
127}
128
129/*
130 * Note that we can be called twice of pseudo-PVRs.
131 * The parameter offset is not used.
132 */
133
134void __setup_cpu_power7(unsigned long offset, struct cpu_spec *t)
135{
136	if (!init_hvmode_206(t))
137		return;
138
139	mtspr(SPRN_LPID, 0);
140	mtspr(SPRN_AMOR, ~0);
141	mtspr(SPRN_PCR, PCR_MASK);
142	init_LPCR_ISA206(mfspr(SPRN_LPCR), LPCR_LPES1 >> LPCR_LPES_SH);
143}
144
145void __restore_cpu_power7(void)
146{
147	u64 msr;
148
149	msr = mfmsr();
150	if (!(msr & MSR_HV))
151		return;
152
153	mtspr(SPRN_LPID, 0);
154	mtspr(SPRN_AMOR, ~0);
155	mtspr(SPRN_PCR, PCR_MASK);
156	init_LPCR_ISA206(mfspr(SPRN_LPCR), LPCR_LPES1 >> LPCR_LPES_SH);
157}
158
159void __setup_cpu_power8(unsigned long offset, struct cpu_spec *t)
160{
161	init_FSCR();
162	init_PMU();
163	init_PMU_ISA207();
164
165	if (!init_hvmode_206(t))
166		return;
167
168	mtspr(SPRN_LPID, 0);
169	mtspr(SPRN_AMOR, ~0);
170	mtspr(SPRN_PCR, PCR_MASK);
171	init_LPCR_ISA206(mfspr(SPRN_LPCR) | LPCR_PECEDH, 0); /* LPES = 0 */
172	init_HFSCR();
173	init_PMU_HV();
174	init_PMU_HV_ISA207();
175}
176
177void __restore_cpu_power8(void)
178{
179	u64 msr;
180
181	init_FSCR();
182	init_PMU();
183	init_PMU_ISA207();
184
185	msr = mfmsr();
186	if (!(msr & MSR_HV))
187		return;
188
189	mtspr(SPRN_LPID, 0);
190	mtspr(SPRN_AMOR, ~0);
191	mtspr(SPRN_PCR, PCR_MASK);
192	init_LPCR_ISA206(mfspr(SPRN_LPCR) | LPCR_PECEDH, 0); /* LPES = 0 */
193	init_HFSCR();
194	init_PMU_HV();
195	init_PMU_HV_ISA207();
196}
197
198void __setup_cpu_power9(unsigned long offset, struct cpu_spec *t)
199{
200	init_FSCR_power9();
201	init_PMU();
202
203	if (!init_hvmode_206(t))
204		return;
205
206	mtspr(SPRN_PSSCR, 0);
207	mtspr(SPRN_LPID, 0);
208	mtspr(SPRN_PID, 0);
209	mtspr(SPRN_AMOR, ~0);
210	mtspr(SPRN_PCR, PCR_MASK);
211	init_LPCR_ISA300((mfspr(SPRN_LPCR) | LPCR_PECEDH | LPCR_PECE_HVEE |\
212			 LPCR_HVICE | LPCR_HEIC) & ~(LPCR_UPRT | LPCR_HR), 0);
213	init_HFSCR();
214	init_PMU_HV();
215}
216
217void __restore_cpu_power9(void)
218{
219	u64 msr;
220
221	init_FSCR_power9();
222	init_PMU();
223
224	msr = mfmsr();
225	if (!(msr & MSR_HV))
226		return;
227
228	mtspr(SPRN_PSSCR, 0);
229	mtspr(SPRN_LPID, 0);
230	mtspr(SPRN_PID, 0);
231	mtspr(SPRN_AMOR, ~0);
232	mtspr(SPRN_PCR, PCR_MASK);
233	init_LPCR_ISA300((mfspr(SPRN_LPCR) | LPCR_PECEDH | LPCR_PECE_HVEE |\
234			 LPCR_HVICE | LPCR_HEIC) & ~(LPCR_UPRT | LPCR_HR), 0);
235	init_HFSCR();
236	init_PMU_HV();
237}
238
239void __setup_cpu_power10(unsigned long offset, struct cpu_spec *t)
240{
241	init_FSCR_power10();
242	init_PMU();
243	init_PMU_ISA31();
244
245	if (!init_hvmode_206(t))
246		return;
247
248	mtspr(SPRN_PSSCR, 0);
249	mtspr(SPRN_LPID, 0);
250	mtspr(SPRN_PID, 0);
251	mtspr(SPRN_AMOR, ~0);
252	mtspr(SPRN_PCR, PCR_MASK);
253	init_LPCR_ISA300((mfspr(SPRN_LPCR) | LPCR_PECEDH | LPCR_PECE_HVEE |\
254			 LPCR_HVICE | LPCR_HEIC) & ~(LPCR_UPRT | LPCR_HR), 0);
255	init_HFSCR();
256	init_PMU_HV();
257}
258
259void __restore_cpu_power10(void)
260{
261	u64 msr;
262
263	init_FSCR_power10();
264	init_PMU();
265	init_PMU_ISA31();
266
267	msr = mfmsr();
268	if (!(msr & MSR_HV))
269		return;
270
271	mtspr(SPRN_PSSCR, 0);
272	mtspr(SPRN_LPID, 0);
273	mtspr(SPRN_PID, 0);
274	mtspr(SPRN_AMOR, ~0);
275	mtspr(SPRN_PCR, PCR_MASK);
276	init_LPCR_ISA300((mfspr(SPRN_LPCR) | LPCR_PECEDH | LPCR_PECE_HVEE |\
277			 LPCR_HVICE | LPCR_HEIC) & ~(LPCR_UPRT | LPCR_HR), 0);
278	init_HFSCR();
279	init_PMU_HV();
280}