导师给了我一个T or F 的问题
when P is 0.001, meaning there is 1% probability that the null hypothesis is not being true.

我的理解
If P=0.01, so there is a 1% chance that the data groups have no difference while 99% of the chance that the groups have differences. So this is statistically significant as p is less than 0.05.

P value is the probability of getting the results if the null hypothesis is true. So we have a 1% of getting the result if the null hypothesis is true which is no difference.

所以我的答案是 false

然后prof说不对啊，这是基本问题咋答不上来呢。正确答案是true

我之后请教队友，队友跟我理解的还是一样。。
请教了工作友人医生们，还是跟我去理解的一样啊。
难道做了一堆trials发布过N篇papers的也理解错了这个P and Ho吗？

导师还没来得及回答我问题，已经email她。今天我不死心七早八早又找了一堆basic的书，almond ans walker 就说

“the smaller the p value the smaller the likelihood that the null hypothesis is true”...

这也是跟我理解的一样啊。

是在无解，请教各位大神来看看。
---
该帖荣获当日十大第4，奖励楼主12分以及18华新币，时间：2020-09-03 22:00:01。

所以是0.1%的概率，你确定不是typo？

p=0.01

难道错了这么多年？反过来null hypothesis is true的可能性是p value.

1111

The p value is the probability of a result at least as extreme as the sample result if the null hypothesis were true. So a p value of 0.01 means that if the null hypothesis were true, a sample result this extreme would occur only 1% of the time.

导师还没回复。头晕了

问题的核心是什么，P的意义呢， 问题是怎么问的
某命题成立，误差在P=0.01的水平
意思是命题为真，为假的概率为0.01， 那么假发生的可能在0.01就是成立的（true）
所以，你老师在问什么呢？
或者我根本就搞错了？

先搞清楚她说的P是不是你理解的P

说不定她是说另一个什么p value

但隐约感觉可能和type I还是II error有关

就是那个P呀

顶级期刊基本都出过系列文章来纠正常见的统计学错误，对“唯p马首是瞻”通常是极度痛恨的。

撇开严谨性，答案是false。但如果你写的问题是你导师问题的原话，先不谈T or F，他这个问题的表述的句式就违反了基本的统计学概念。正确的叙述应该是：
When P is 0.01, it means that "the probability is 1% to observe the result obtained assuming the null hypothesis is true".

所有statistical tests只能回答概率，不能证明对错。任何结论都是基于confidence level。撇开CL来解读结果显著性都没任何意义。所以类似于"no difference"的结论性表述都是错误的。正确的表述应该是“no evidence to show the difference"。

就是描述这个导师的

啪，你一下就抽到个99，你更相信这个抽取是1~100随机的，还是不随机的?

先来说导师,他错在这个statement的表述上。 他对p value的理解犯了大多数人都会犯的错误。
a P value is the probability of obtaining an effect at least as extreme as the one in your sample data, assuming the truth of the null hypothesis. 如果你不能obtain a more extreme value,你就不能推翻null hypothesis.而这个p value和how true the null hypothesis是没有关系的，它只是一个likelihood.不能等同为1.23%(假设p=0.0123)的几率null hypothesis is true.

再来谈一下你的回答, 首先你没有弄清楚是哪个p value， 0.01是实际算出来的p value,还是alpha？如果你给出的就是导师的问题的全部，那0.01就是alpha了。导师想要考你对alpha的理解，alpha is now 0.01=1%。而你以为0.01是实际p value 小于0.05，基于这个你说导师的错误的。所以你的回答导师自然说你是错的。另外你对p value的理解也和导师一样，犯了同样的错误。

最后说一下正确的表述： if p value is 0.01 (confidence level 99% or alpha=0.01), 0.01 is the smallest level of significance at which the null hypothesis would be rejected.

我们只会说没有足够的证据to reject null hypothesis or prove there is an effect or difference.而不会说我们就92%的把握。。。。。end of the day, we are dealing with samples to obtain the interpretation on the population.

如果根据这个实验数据你决定reject null hypothesis, 那么你犯错的几率为1％.

Prob of wrongly rejecting null hypothesis is 1％

可以rephrase一下你的正确描述吗？
不明白啊
泪奔。。

因为你老师说是陈述。并没有推到关系。p=0.001和STATEMENT没关系。
当没关系的时候都是TRUE。