请教各位一个research的基本问题导师给了我一个T or F 的问题
when P is 0.001, meaning there is 1% probability that the null hypothesis is not being true.

我的理解
If P=0.01, so there is a 1% chance that the data groups have no difference while 99% of the chance that the groups have differences. So this is statistically significant as p is less than 0.05.

P value is the probability of getting the results if the null hypothesis is true. So we have a 1% of getting the result if the null hypothesis is true which is no difference.

所以我的答案是 false

然后prof说不对啊，这是基本问题咋答不上来呢。正确答案是true

我之后请教队友，队友跟我理解的还是一样。。
请教了工作友人医生们，还是跟我去理解的一样啊。
难道做了一堆trials发布过N篇papers的也理解错了这个P and Ho吗？

导师还没来得及回答我问题，已经email她。今天我不死心七早八早又找了一堆basic的书，almond ans walker 就说

“the smaller the p value the smaller the likelihood that the null hypothesis is true”...

这也是跟我理解的一样啊。

是在无解，请教各位大神来看看。
---
该帖荣获当日十大第4，奖励楼主12分以及18华新币，时间：2020-09-03 22:00:01。 　[本文发送自华新iOS APP] [小猪123 (9-3 7:59, Long ago)] [ 传统版 | sForum ][登录后回复]1楼

你导师说的p=0.001所以是0.1%的概率，你确定不是typo？ 　[本文发送自华新iOS APP] [随白色飞翔 (9-3 8:03, Long ago)] [ 传统版 | sForum ][登录后回复]2楼

(引用 随白色飞翔:你导师说的p=0.001所以是0.1%的概率，你确定不是typo？)typop=0.01 　[本文发送自华新iOS APP] [小猪123 (9-3 8:05, Long ago)] [ 传统版 | sForum ][登录后回复]3楼

导师在考验你会不会盲从学术权威 　[本文发送自华新手机Wap版] [随便转转 (9-3 8:12, Long ago)] [ 传统版 | sForum ][登录后回复]4楼

跟你理解的一样难道错了这么多年？反过来null hypothesis is true的可能性是p value. 　[本文发送自华新手机Wap版] [yayayayayaya (9-3 8:36, Long ago)] [ 传统版 | sForum ][登录后回复]5楼

不会是PUA吧1111[嘎哈嘎哈嘎哈 (9-3 8:41, Long ago)] [ 传统版 | sForum ][登录后回复]6楼

哈哈哈 确实不对啊 这个是对p值最普遍的误解了The p value is the probability of a result at least as extreme as the sample result if the null hypothesis were true. So a p value of 0.01 means that if the null hypothesis were true, a sample result this extreme would occur only 1% of the time.[id_rsa (9-3 8:51, Long ago)] [ 传统版 | sForum ][登录后回复]7楼

(引用 id_rsa:哈哈哈 确实不对啊 这个是对p值最普遍的误解了The p value is the probability of a result at least as extreme as the sample result i...)所以我的答案是对的是嘛导师还没回复。头晕了 　[本文发送自华新iOS APP] [小猪123 (9-3 9:15, Long ago)] [ 传统版 | sForum ][登录后回复]8楼

(引用 小猪123:所以我的答案是对的是嘛导师还没回复。头晕了)看来看去怎么像是理解上的问题 英文或者提议问题的核心是什么，P的意义呢， 问题是怎么问的
某命题成立，误差在P=0.01的水平
意思是命题为真，为假的概率为0.01， 那么假发生的可能在0.01就是成立的（true）
所以，你老师在问什么呢？
或者我根本就搞错了？[笑天 (9-3 9:34, Long ago)] [ 传统版 | sForum ][登录后回复]9楼

讨论所有问题钱要先明确定义。。。先搞清楚她说的P是不是你理解的P

说不定她是说另一个什么p value

[功夫熊猫 (9-3 9:59, Long ago)] [ 传统版 | sForum ][登录后回复]10楼

(引用 小猪123:typop=0.01)我不太记得stats了但隐约感觉可能和type I还是II error有关 　[本文发送自华新iOS APP] [随白色飞翔 (9-3 10:05, Long ago)] [ 传统版 | sForum ][登录后回复]11楼

(引用 功夫熊猫:讨论所有问题钱要先明确定义。。。先搞清楚她说的P是不是你理解的P 说不定她是说另一个什么p value )还有其他的P？就是那个P呀 　[本文发送自华新iOS APP] [小猪123 (9-3 11:24, Long ago)] [ 传统版 | sForum ][登录后回复]12楼

(引用 小猪123:还有其他的P？就是那个P呀)附赠美图[功夫熊猫 (9-3 11:42, Long ago)] [ 传统版 | sForum ][登录后回复]13楼

搞不清楚p涵义的学者大把大把的。顶级期刊基本都出过系列文章来纠正常见的统计学错误，对“唯p马首是瞻”通常是极度痛恨的。

撇开严谨性，答案是false。但如果你写的问题是你导师问题的原话，先不谈T or F，他这个问题的表述的句式就违反了基本的统计学概念。正确的叙述应该是：
When P is 0.01, it means that "the probability is 1% to observe the result obtained assuming the null hypothesis is true".

所有statistical tests只能回答概率，不能证明对错。任何结论都是基于confidence level。撇开CL来解读结果显著性都没任何意义。所以类似于"no difference"的结论性表述都是错误的。正确的表述应该是“no evidence to show the difference"。[TPMT (9-3 12:23, Long ago)] [ 传统版 | sForum ][登录后回复]14楼

以已昏昏使人昭昭就是描述这个导师的 　[本文发送自华新iOS APP] [riskhunter (9-3 12:40, Long ago)] [ 传统版 | sForum ][登录后回复]15楼

一到100随机抽一个数字啪，你一下就抽到个99，你更相信这个抽取是1~100随机的，还是不随机的? 　[本文发送自华新手机Wap版] [Seabass (9-3 13:26, Long ago)] [ 传统版 | sForum ][登录后回复]16楼

你和你的导师都错的先来说导师,他错在这个statement的表述上。 他对p value的理解犯了大多数人都会犯的错误。
a P value is the probability of obtaining an effect at least as extreme as the one in your sample data, assuming the truth of the null hypothesis. 如果你不能obtain a more extreme value,你就不能推翻null hypothesis.而这个p value和how true the null hypothesis是没有关系的，它只是一个likelihood.不能等同为1.23%(假设p=0.0123)的几率null hypothesis is true.

再来谈一下你的回答, 首先你没有弄清楚是哪个p value， 0.01是实际算出来的p value,还是alpha？如果你给出的就是导师的问题的全部，那0.01就是alpha了。导师想要考你对alpha的理解，alpha is now 0.01=1%。而你以为0.01是实际p value 小于0.05，基于这个你说导师的错误的。所以你的回答导师自然说你是错的。另外你对p value的理解也和导师一样，犯了同样的错误。

最后说一下正确的表述： if p value is 0.01 (confidence level 99% or alpha=0.01), 0.01 is the smallest level of significance at which the null hypothesis would be rejected.

我们只会说没有足够的证据to reject null hypothesis or prove there is an effect or difference.而不会说我们就92%的把握。。。。。end of the day, we are dealing with samples to obtain the interpretation on the population. 　[本文发送自华新手机Wap版] [走走停停看看 (9-3 16:17, Long ago)] [ 传统版 | sForum ][登录后回复]17楼

P=0.01如果根据这个实验数据你决定reject null hypothesis, 那么你犯错的几率为1％.

Prob of wrongly rejecting null hypothesis is 1％ 　[本文发送自华新手机Wap版] [Freki (9-3 16:39, Long ago)] [ 传统版 | sForum ][登录后回复]18楼

(引用 走走停停看看:你和你的导师都错的先来说导师,他错在这个statement的表述上。 他对p value的理解犯了大多数人都会犯的错误。 a P value is the probabil...)这位兄台可以rephrase一下你的正确描述吗？
不明白啊
泪奔。。 　[本文发送自华新iOS APP] [小猪123 (9-3 18:12, Long ago)] [ 传统版 | sForum ][登录后回复]19楼

觉得是TRUE因为你老师说是陈述。并没有推到关系。p=0.001和STATEMENT没关系。
当没关系的时候都是TRUE。
[小土 (9-3 18:39, Long ago)] [ 传统版 | sForum ][登录后回复]20楼